The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  ВХОД  слежка  RSS
"Проблема с архивированием каталога > 2Gb"
Вариант для распечатки Архивированная нить - только для чтения! 
Пред. тема | След. тема 
Форумы OpenNET: Виртуальная конференция (Public)
Изначальное сообщение [Проследить за развитием треда]

"Проблема с архивированием каталога > 2Gb"
Сообщение от powerhead emailИскать по авторуВ закладки(??) on 30-Сен-04, 21:03  (MSK)
Даю команду tar cvfP - /bankier/db | compress -c > /bankier/dbcopy/2004.tar.Z
Начинает архивировать а потом выдаёт:
Segmentation fault
Что это значит? Ведь у меня стоит XFS и большие файлы должны поддерживатся.
  Рекомендовать в FAQ | Cообщить модератору | Наверх

 Оглавление

Индекс форумов | Темы | Пред. тема | След. тема
Сообщения по теме

1. "Проблема с архивированием каталога > 2Gb"
Сообщение от asipin emailИскать по авторуВ закладки on 01-Окт-04, 11:21  (MSK)
>Даю команду tar cvfP - /bankier/db | compress -c > /bankier/dbcopy/2004.tar.Z
>Начинает архивировать а потом выдаёт:
>Segmentation fault
>Что это значит? Ведь у меня стоит XFS и большие файлы должны
>поддерживатся.


Присоединяюсь к вопросу.....
У меня на 9 слакваре через самбу или фтп можно создать файлы больше 2 гб а вот копировать их или работать с ними не получается....


  Рекомендовать в FAQ | Cообщить модератору | Наверх

2. "Проблема с архивированием каталога > 2Gb"
Сообщение от powerhead emailИскать по авторуВ закладки(??) on 05-Окт-04, 08:47  (MSK)
>>Даю команду tar cvfP - /bankier/db | compress -c > /bankier/dbcopy/2004.tar.Z
>>Начинает архивировать а потом выдаёт:
>>Segmentation fault
>>Что это значит? Ведь у меня стоит XFS и большие файлы должны
>>поддерживатся.
>
>
>Присоединяюсь к вопросу.....
>У меня на 9 слакваре через самбу или фтп можно создать файлы
>больше 2 гб а вот копировать их или работать с ними
>не получается....

Похоже дело было в compress потому как tar czvfP сработал нормально. А вот без компрессии tar cvfP виснет хотя вроде всё запихал в архив. Помоему как я понимаю не все команды поддерживают эти расширения 2GB. Я читал что для XFS есть какой-то набор инструментов, но что он из себя представляет не знаю.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

3. "Проблема с архивированием каталога > 2Gb"
Сообщение от lavr emailИскать по авторуВ закладки on 05-Окт-04, 12:11  (MSK)
>>>Даю команду tar cvfP - /bankier/db | compress -c > /bankier/dbcopy/2004.tar.Z
>>>Начинает архивировать а потом выдаёт:
>>>Segmentation fault
>>>Что это значит? Ведь у меня стоит XFS и большие файлы должны
>>>поддерживатся.
>>
>>
>>Присоединяюсь к вопросу.....
>>У меня на 9 слакваре через самбу или фтп можно создать файлы
>>больше 2 гб а вот копировать их или работать с ними
>>не получается....
>
>Похоже дело было в compress потому как tar czvfP сработал нормально. А
>вот без компрессии tar cvfP виснет хотя вроде всё запихал в
>архив. Помоему как я понимаю не все команды поддерживают эти расширения
>2GB. Я читал что для XFS есть какой-то набор инструментов, но
>что он из себя представляет не знаю.

возможно compress старый или не поддерживает 2GB, взять и собрать свежий
gzip или bzip[2].

Странно, но народ зачастую апгрейдит систему частично и потом удивляется
откуда грабли?

То же самое и с самбой, система поддерживает >2GB, а самба старая к примеру и ХЗ кем собрана и откуда взята.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

4. "Проблема с архивированием каталога > 2Gb"
Сообщение от powerhead emailИскать по авторуВ закладки(??) on 06-Окт-04, 09:03  (MSK)
>>>>Даю команду tar cvfP - /bankier/db | compress -c > /bankier/dbcopy/2004.tar.Z
>>>>Начинает архивировать а потом выдаёт:
>>>>Segmentation fault
>>>>Что это значит? Ведь у меня стоит XFS и большие файлы должны
>>>>поддерживатся.
>>>
>>>
>>>Присоединяюсь к вопросу.....
>>>У меня на 9 слакваре через самбу или фтп можно создать файлы
>>>больше 2 гб а вот копировать их или работать с ними
>>>не получается....
>>
>>Похоже дело было в compress потому как tar czvfP сработал нормально. А
>>вот без компрессии tar cvfP виснет хотя вроде всё запихал в
>>архив. Помоему как я понимаю не все команды поддерживают эти расширения
>>2GB. Я читал что для XFS есть какой-то набор инструментов, но
>>что он из себя представляет не знаю.
>
>возможно compress старый или не поддерживает 2GB, взять и собрать свежий
>gzip или bzip[2].
>
>Странно, но народ зачастую апгрейдит систему частично и потом удивляется
>откуда грабли?
>
>То же самое и с самбой, система поддерживает >2GB, а самба старая к примеру и ХЗ кем собрана и откуда взята.

1. А при чём здесь gzip или bzip[2]? Ведь напрямую tar czvfP идет, а через

compress не хочет.

2.Ничего я не апгрейдил! Ставил ASP LINUX 9.2 из дистрибутива и всё.

3. Самбу не проверял, ничего не могу пока сказать.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

5. "Проблема с архивированием каталога > 2Gb"
Сообщение от lavr emailИскать по авторуВ закладки on 06-Окт-04, 11:40  (MSK)
>>>>>Даю команду tar cvfP - /bankier/db | compress -c > /bankier/dbcopy/2004.tar.Z
>>>>>Начинает архивировать а потом выдаёт:
>>>>>Segmentation fault
>>>>>Что это значит? Ведь у меня стоит XFS и большие файлы должны
>>>>>поддерживатся.
>>>>
>>>>
>>>>Присоединяюсь к вопросу.....
>>>>У меня на 9 слакваре через самбу или фтп можно создать файлы
>>>>больше 2 гб а вот копировать их или работать с ними
>>>>не получается....
>>>
>>>Похоже дело было в compress потому как tar czvfP сработал нормально. А
>>>вот без компрессии tar cvfP виснет хотя вроде всё запихал в
>>>архив. Помоему как я понимаю не все команды поддерживают эти расширения
>>>2GB. Я читал что для XFS есть какой-то набор инструментов, но
>>>что он из себя представляет не знаю.
>>
>>возможно compress старый или не поддерживает 2GB, взять и собрать свежий
>>gzip или bzip[2].
>>
>>Странно, но народ зачастую апгрейдит систему частично и потом удивляется
>>откуда грабли?
>>
>>То же самое и с самбой, система поддерживает >2GB, а самба старая к примеру и ХЗ кем собрана и откуда взята.
>
>1. А при чём здесь gzip или bzip[2]? Ведь напрямую tar czvfP
>идет, а через
>
>compress не хочет.
>
>2.Ничего я не апгрейдил! Ставил ASP LINUX 9.2 из дистрибутива и всё.
>

ты когда-нибудь программировал? понимаешь что такое int, unsigned int,
long?

>3. Самбу не проверял, ничего не могу пока сказать.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

6. "Проблема с архивированием каталога > 2Gb"
Сообщение от asipin emailИскать по авторуВ закладки on 06-Окт-04, 12:32  (MSK)
>>>>>>Даю команду tar cvfP - /bankier/db | compress -c > /bankier/dbcopy/2004.tar.Z
>>>>>>Начинает архивировать а потом выдаёт:
>>>>>>Segmentation fault
>>>>>>Что это значит? Ведь у меня стоит XFS и большие файлы должны
>>>>>>поддерживатся.
>>>>>
>>>>>
>>>>>Присоединяюсь к вопросу.....
>>>>>У меня на 9 слакваре через самбу или фтп можно создать файлы
>>>>>больше 2 гб а вот копировать их или работать с ними
>>>>>не получается....
>>>>
>>>>Похоже дело было в compress потому как tar czvfP сработал нормально. А
>>>>вот без компрессии tar cvfP виснет хотя вроде всё запихал в
>>>>архив. Помоему как я понимаю не все команды поддерживают эти расширения
>>>>2GB. Я читал что для XFS есть какой-то набор инструментов, но
>>>>что он из себя представляет не знаю.
>>>
>>>возможно compress старый или не поддерживает 2GB, взять и собрать свежий
>>>gzip или bzip[2].
>>>
>>>Странно, но народ зачастую апгрейдит систему частично и потом удивляется
>>>откуда грабли?
>>>
>>>То же самое и с самбой, система поддерживает >2GB, а самба старая к примеру и ХЗ кем собрана и откуда взята.
>>
>>1. А при чём здесь gzip или bzip[2]? Ведь напрямую tar czvfP
>>идет, а через
>>
>>compress не хочет.
>>
>>2.Ничего я не апгрейдил! Ставил ASP LINUX 9.2 из дистрибутива и всё.
>>
>
>ты когда-нибудь программировал? понимаешь что такое int, unsigned int,
>long?
>
>>3. Самбу не проверял, ничего не могу пока сказать.

У меня стоит слакварь 10 версии. А проблемы вот какого рода.
Есть сервак samba+ftp все это на слакваре 9. Туда абсолютно нормально можно по фтп или самба залить файлы обьемом 5 Гигабайт (к примеру) с машины w2000. Оттуда же их взять....  Но если их оттуда брать linuxом 10 слакварь... то скопировать например, по фтп еще как-то получается, а вот потом скопировать в другой локальный каталог, или переместить не получается. Файловая система ext3.... Пробовал разными сресдтвами. cp mc файловые менеджеры гнома и кде.... Все одинаково на 2 Гб происходит прекращение операции.... Вопрос: Ясно что это проблема слаквари, как с ней дела в других дистрах и как ее решить в слаквари? Есть ли эти же пакеты для работы с файлами уже собранные с поддержкой большЕго объема. Очень не хочется самому компилировать.....

  Рекомендовать в FAQ | Cообщить модератору | Наверх

7. "Проблема с архивированием каталога > 2Gb"
Сообщение от lavr emailИскать по авторуВ закладки on 06-Окт-04, 14:12  (MSK)
>У меня стоит слакварь 10 версии. А проблемы вот какого рода.
>Есть сервак samba+ftp все это на слакваре 9. Туда абсолютно нормально можно
>по фтп или самба залить файлы обьемом 5 Гигабайт (к примеру)
>с машины w2000. Оттуда же их взять....  Но если их
>оттуда брать linuxом 10 слакварь... то скопировать например, по фтп еще
>как-то получается, а вот потом скопировать в другой локальный каталог, или
>переместить не получается. Файловая система ext3.... Пробовал разными сресдтвами. cp mc
>файловые менеджеры гнома и кде.... Все одинаково на 2 Гб происходит
>прекращение операции.... Вопрос: Ясно что это проблема слаквари, как с ней
>дела в других дистрах и как ее решить в слаквари? Есть
>ли эти же пакеты для работы с файлами уже собранные с
>поддержкой большЕго объема. Очень не хочется самому компилировать.....

я уже очень давно не имел дела с установкой линукс или его апгрейдом,
обычно эту грязную работу уже выполняют до меня, но примерно могу
обрисовать схему с узкими местами:

характерной особенностью линукса является - раздельные апгрейды ЯДРА
и системы с бинарниками. Что в итоге имеем:

- устанавливаем Linux "Name/Vendor" версия X.Y - это ни о чем не говорит,
потому как поддержку file >= 2GB сперва реализуют в ядре. Значит:

1. Поддержка в ядре File >= 2GB (возможно и скорей всего плюс в той или
иной FS, так как они ко всему прочему пишутся отдельно, НО с расчетом
на то или иное ядро)

- допустим у нас был RH8.x, мы обновили ядро, но бинарники системы
и всяких пакетов остались СТАРЫЕ, нужно объяснить что версии их
могли быть старыми и тут два варианта:

2. Установленный софт не поддерживает >= 2GB

a) версии софта были поправлены на работу с файлами >=2GB, а система
в которой собраный (вызовы, fs и тд и тп...) обрезала эту поддержку

b) софт старых версий и изначально не был ориентирован на поддержку >=2GB

теперь должно быть понятно где могут быть узкие места.

В случае же с compress - либо дело в compress исходя из верхнего, либо
проблема с pipe во что слабо верится:

[alone]~ > ls -la /mnt/pub/lavr/porno/la*
-rw-r--r--  1 lavr  sysct  2939627600  6 окт 12:30 /mnt/pub/lavr/porno/la
-rw-r--r--  1 lavr  sysct    13418496  6 окт 13:02 /mnt/pub/lavr/porno/la.Z
[alone]~ > du -k /mnt/pub/lavr/porno/la
2871456 /mnt/pub/lavr/porno/la
[alone]~ > du -h /mnt/pub/lavr/porno/la
2.7G    /mnt/pub/lavr/porno/la
[alone]~ > ls -la /mnt/pub/lavr/porno/la*
-rw-r--r--  1 lavr  sysct  2939627600  6 окт 12:30 /mnt/pub/lavr/porno/la
-rw-r--r--  1 lavr  sysct   374800384  6 окт 13:07 /mnt/pub/lavr/porno/la.Z
[alone]~ > ls -la /mnt/pub/lavr/porno/la*
-rw-r--r--  1 lavr  sysct  2939627600  6 окт 12:30 /mnt/pub/lavr/porno/la
-rw-r--r--  1 lavr  sysct  3002843136  6 окт 13:47 /mnt/pub/lavr/porno/la.Z
[alone]~ > ls -la /mnt/pub/lavr/porno/la*
-rw-r--r--  1 lavr  sysct  2939627600  6 окт 12:30 /mnt/pub/lavr/porno/la
-rw-r--r--  1 lavr  sysct  3456942080  6 окт 14:02 /mnt/pub/lavr/porno/la.Z
[alone]~ > ls -la /mnt/pub/lavr/porno/la*
-rw-r--r--  1 lavr  sysct  2939627600  6 окт 12:30 /mnt/pub/lavr/porno/la
[alone]~ >

Вот реальный пример, результат работы compress - ничего, в данном случае
ответ прост - исходный файл был сжат более плотно чем это можно было
сделать с compress, но факт работы compress с файлами >= 2GB на лицо
и потение процессора на конкретном верхнем примере ~ 30 минут.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

9. "Проблема с архивированием каталога > 2Gb"
Сообщение от uldus Искать по авторуВ закладки(ok) on 07-Окт-04, 22:38  (MSK)
>Похоже дело было в compress потому как tar czvfP сработал нормально.

compress старье, не удивлюсь, если она не переварит 2 Гб. Попробуй gzip. gnu tar жует большие файлы без проблем. Также проверь лимиты (см. мой предыдущий пост). 2 Гб как кость в горле у многих ftp и http клиентов (wget уже пофиксили или нет ?).

  Рекомендовать в FAQ | Cообщить модератору | Наверх

8. "Проблема с архивированием каталога > 2Gb"
Сообщение от uldus Искать по авторуВ закладки(ok) on 07-Окт-04, 22:32  (MSK)
>У меня на 9 слакваре через самбу или фтп можно создать файлы
>больше 2 гб а вот копировать их или работать с ними
>не получается....

Набери ulimit -a и посмотри лимит на размер файла, при необходимости расширь через ulimit -f

  Рекомендовать в FAQ | Cообщить модератору | Наверх


Удалить

Индекс форумов | Темы | Пред. тема | След. тема
Пожалуйста, прежде чем написать сообщение, ознакомьтесь с данными рекомендациями.




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2025 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру