The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Релиз GNU tar 1.30"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Релиз GNU tar 1.30"  +/
Сообщение от opennews on 18-Дек-17, 00:56 
Спустя полтора года с момента прошлого выпуска представлен (https://www.mail-archive.com/info-gnu@gnu.org/msg02381....) новый стабильный релиз архиватора GNU Tar 1.30.

Основные новшества:

-  При извлечении теперь пропускаются компоненты с '..' в именах, что нарушает сложившееся поведение, но повышает безопасность при извлечении данных из архивов, не заслуживающих доверия, поверх имеющихся файлов;

-  Добавлен вывод ошибки при выполнении создания или обновления архива с некорректным указанием опций, для которых важен порядок следования в командой строке. Например, выполнение
"tar -cf a.tar . --exclude '*.o'" приведёт к выводу ошибки из-за указания блока --exclude после пути для архивирования (--exclude должен указываться до обязательного параметра к которому применяется  ограничение);
-  Опция "--numeric-owner" теперь приводит к сохранению цифровых идентификаторов владельца в составе служебных полей;


-  Добавлена опция "--warnings=failed-read" для скрытия предупреждений о невозможности прочитать содержимое файла или каталога при совместном указании с опцией "--ignore-failed-read";

-  Добавлена опция "--warnings=none" для скрытия всех предупреждений.

URL: https://www.mail-archive.com/info-gnu@gnu.org/msg02381....
Новость: http://www.opennet.me/opennews/art.shtml?num=47755

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Релиз GNU tar 1.30"  –29 +/
Сообщение от Онаним on 18-Дек-17, 00:56 
Всю жизнь жду когда же наконец уже эту окаменелость отправят на свалку истории и заменят чем-то человеческим, что не нужно распаковывать целиком чтобы считать оглавление (например чем-то типа 7z с добавлением поддержки информации о правах доступа и ссылок). Надеюсь хоть правнукам не придётся использовать это древнее зло.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Релиз GNU tar 1.30"  +4 +/
Сообщение от QuAzI (ok) on 18-Дек-17, 01:01 
Не осилил -J ?
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. "Релиз GNU tar 1.30"  +1 +/
Сообщение от Аноним (??) on 18-Дек-17, 01:03 
tar это не запакованный формат
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

9. "Релиз GNU tar 1.30"  +17 +/
Сообщение от angra (ok) on 18-Дек-17, 03:30 
Вообще-то он как раз формат упаковки/архивирования, а не сжатия/компрессии.
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

17. "Релиз GNU tar 1.30"  +/
Сообщение от Онаним on 18-Дек-17, 04:42 
> Вообще-то он как раз формат упаковки/архивирования, а не сжатия/компрессии.

Да, но часто вы встречаете просто tar, а не tar.gz файлы? Для каких-то своих кассетных нужд он может и нужен, но tar.gz/bz/xz и тому подобное в сфере хранения файлов на жёстких дисках должно умереть.

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

18. "Релиз GNU tar 1.30"  –5 +/
Сообщение от Онаним on 18-Дек-17, 04:48 
Хотя даже на кассетах непонятно зачем оно нужно такое - почему бы перед записью на кассету файлы не пожать? Причём каждый независимо желательно, чтобы повреждение одного не затрагивало остальные.
Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

24. "Релиз GNU tar 1.30"  +/
Сообщение от Greg KH on 18-Дек-17, 06:19 
>     Причём каждый независимо желательно, чтобы повреждение одного не затрагивало остальные.

ты забегаешь вперед. Этот нюанс как раз является одной из проблем tar, которые делают его далеко не лучшем архиватором общего назначения. Чего там с лентами - дело десятое.

> почему бы перед записью на кассету файлы не пожать?

Не хотелось бы говорить о лентах и отвлекаться от сути, т.к. такие юзкейзы (на ленту) tar применяются хорошо если в 0.1% случаев применения tar вообще. Но нельзя не заметить, что обычно ленточные стораджи сами умеют хорошее сжатие, сбалансированное с полосой пропускания механизма, поэтому tar без сжатия применяется на лентах успешно.

Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

111. "Релиз GNU tar 1.30"  +/
Сообщение от Вася (??) on 19-Дек-17, 21:06 
Еще раз, tar - формат архивирования. Не сжатия. Нужно сжатие - жми отдельно. Можно даже каждый файл поодиночке, прям как ты хочешь. При этом некоторые файлы можно выборочно сжимать, а другие - нет. Тару на это пофигу, он делает одну свою задачу (хранение файлов вместе с их метаданными) и делает ее хорошо. Чистый Unix-way.
Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

25. "Релиз GNU tar 1.30"  –1 +/
Сообщение от Greg KH on 18-Дек-17, 06:27 
> но tar.gz/bz/xz и тому подобное в сфере хранения файлов на жёстких дисках должно умереть.

Это уже случилось бы давно, если бы существовал нормальный архиватор. Но вместо этого имеем такой себе tar.

Что бы это как-то изменить, надо во всех статьях и howto указывать, что tar на сегодняшний деть имеет проблемы при применении, связанные в первую очередь с отсутствием в нем индекса файлов. Это приводит к необоснованной просадке производительности при использовании на реальных данных. Но что, к сожалению,  альтернатив, по степени распространенности и стабильности, на сегодняшний день нет.

Если писать такое замечание, то неофиты не станут огульно применять tar, а будут рассматривать, например, squashfs или dar. И будут заинтересованы в распространении лучшего формата

Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

27. "Релиз GNU tar 1.30"  –5 +/
Сообщение от Онаним on 18-Дек-17, 09:31 
Рад, что хоть кто-то понимает о чём я.

> Это уже случилось бы давно, если бы существовал нормальный архиватор

Чем не нравится 7zip? Формат вроде достаточно гибкий и расширяемый, добавить в него поддержку недостающих метаданных не должно быть сложно.

>  Но что, к сожалению,  альтернатив, по степени распространенности и стабильности

Так их и не будет. Чтобы что-то подобное стало распространённым решение об этом должны принять "сверху" в RedHat и/или Debian, например. Или как минимум какой-то очень популярный проект должен добавить это новое в зависимости.

Ответить | Правка | ^ к родителю #25 | Наверх | Cообщить модератору

32. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (??) on 18-Дек-17, 10:19 
> Чем не нравится 7zip? Формат вроде достаточно гибкий и расширяемый, добавить в него поддержку недостающих метаданных не должно быть сложно.

Можете начать прямо сейчас.

Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

39. "Релиз GNU tar 1.30"  +3 +/
Сообщение от Greg KH on 18-Дек-17, 11:32 
> Чем не нравится 7zip?

его надо весь лопатить. Изначально 7z был настолько инороден POSIX, GNU/Linux и вообще командной строке, что работать было невозможно - ни адекватных кодов возврата, ни работы с stdin\out. Сейчас стало лучше, но ключи всеравно наркоманские. Это во-первых. Хоть и не касается самой сути.

А во-вторых, сначала нужно добавить поддержку исчерпывающей unix-compatibility информации и посмотреть, что останется от формата, есть сомнения, что всё это ляжет туда. Всякие hardlinkи, xattr, контексты и аттрибуты SELinux и еще тонну всего. Без чего затевать современный архивный формат бессмысленно. Именно потому, что эта кропотливая работа довольно хорошо проведена в tar и, наверно, больше нигде, tar до сих пор жив.

В-третьих, не уверен сейчас на счет 7z. Но современный формат архива наряду с оптимальным случайным доступом  должен поддерживать так же и работу с "откушенным" концом (где, по идее, должен находиться индекс). И такми образом, сводиться к tar-like в случае отсутствия индекса; данные должны иметь возможность быть вытащенны последовательно. Это необходимо при потоковой передаче, например.

Так что, я сомневаюсь на счет 7z, потому что у него виндовые родовые травмы, и цели проекта изначально были другие, это не могло не отразиться на дизайне формата

Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

94. "Релиз GNU tar 1.30"  –6 +/
Сообщение от VINRARUS (ok) on 19-Дек-17, 08:00 
>современный формат архива наряду с оптимальным случайным доступом  должен поддерживать так же и работу с "откушенным" концом (где, по идее, должен находиться индекс). И такми образом, сводиться к tar-like в случае отсутствия индекса; данные должны иметь возможность быть вытащенны последовательно.

WinRAR к твоим услугам.

Ответить | Правка | ^ к родителю #39 | Наверх | Cообщить модератору

54. "Релиз GNU tar 1.30"  +2 +/
Сообщение от Аноним (??) on 18-Дек-17, 13:38 
> Чтобы что-то подобное стало распространённым решение об этом должны принять "сверху" в RedHat и/или Debian, например. Или как минимум какой-то очень популярный проект должен добавить это новое в зависимости.

Тот же  tar "сверху" никто не принимал. Он сначала стал распространённым благодаря удобству (для тогдашних целей), и только как результат этого попал в стандарты.
Сейчас в стандарте POSIX фигурирует архиватор pax, но вот в чём парадокс: поддержку вроде как "родного" для него формата pax в него вроде до сих пор не запилили. В остальном же он только дублирует функционал tar и cpio, поэтому по умолчанию нигде не устанавливается. Такое вот бестолковое "продавливание" с самого, казалось бы, верха. Так что надо сначала сделать нормальную реализацию, а уже потом думать о её распространении.

P.S. Squashfs весьма неплох, надо сказать.

Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

70. "Релиз GNU tar 1.30"  –1 +/
Сообщение от Пользователь Debian on 18-Дек-17, 17:53 
bsdtar умеет (через libarchive).

И есть ещё http://www.mirbsd.org/pax.htm (который доступен в Дебиане и дебианоидах в виде pax).

Ответить | Правка | ^ к родителю #54 | Наверх | Cообщить модератору

78. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (??) on 18-Дек-17, 19:59 
Я про него и говорил. Из pax(1):

> pax currently supports the following formats:
>     ar …
>     bcpio …
>     cpio …
>     sv4cpio …
>     sv4crc …
>     tar …
>     ustar …

Усё.

Ответить | Правка | ^ к родителю #70 | Наверх | Cообщить модератору

112. "Релиз GNU tar 1.30"  +1 +/
Сообщение от Вася (??) on 19-Дек-17, 21:15 
> Чем не нравится 7zip? Формат вроде достаточно гибкий и расширяемый, добавить в
> него поддержку недостающих метаданных не должно быть сложно.

Как человек, не понаслышке знакомый с внутренностями 7z (хотя все-таки понаслышке, от хорошего знакомого, который делал распаковщик для одного проекта), могу твердо заявить, что с точки зрения программиста формат представляет собой страх и ужас. Десятки вариаций, сотни тонких моментов, все из которых нужно обрабатывать... В итоге тот парень для распаковки обошелся кучкой эвристик, но это объясняет тот факт, почему альтернативных реализаций для этого формата нет. Не только потому, что эталонная реализация - свободная.

Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

64. "Релиз GNU tar 1.30"  +6 +/
Сообщение от Crazy Alex (ok) on 18-Дек-17, 16:24 
Ничего не заменило tar, потому что ерунда это, а не проблема. На практике 99% юзкейсов - запаковать скопом и потом так же распаковать. Никто внутрь не лезет. Для тех, кому надо - сто лет как есть 7zip, и о нём все в курсе.
Ответить | Правка | ^ к родителю #25 | Наверх | Cообщить модератору

109. "Релиз GNU tar 1.30"  +/
Сообщение от ALex_hha (ok) on 19-Дек-17, 19:28 
Да запросто, когда нужно перенести кучу jpg/png/avi, сжимать которые смысла нету, от слова совсем
Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

4. "Релиз GNU tar 1.30"  –3 +/
Сообщение от Pgor Iavlov on 18-Дек-17, 01:08 
я вам 7zip 18 лет назад написал, пользуйтесь, и правнукам передайте.

А "tape archiver", пожалуйста, оставьте в покое. DLT ленты по прежнему не умеют мгновенно позиционироваться. Сомневаюсь что и при ваших правнуках найдется им работоспособная замена.

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

5. "Релиз GNU tar 1.30"  +3 +/
Сообщение от DiabloPC (ok) on 18-Дек-17, 01:38 
Тише ты, чего расшумелся?
Ну не знают хомячки что архивация и сжатие это абсолютно разные вещи.
Нервничать то чего??
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

15. "Релиз GNU tar 1.30"  –3 +/
Сообщение от Онаним on 18-Дек-17, 04:32 
В 99% случаев это разделение не нужно. Приведите мне хоть один пример, когда tar.gz - удобнее чем 7z если представить себе, что 7zip внезапно обрёл поддержку прав доступа и ссылок и попал в базовую комплектацию всех основных дистров GNU/Linux и Unix.

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

19. "Релиз GNU tar 1.30"  +6 +/
Сообщение от имя on 18-Дек-17, 04:48 
Как минимум там, где мне это нужно, я могу выкинуть .tar.gz в пользу хоть .tar.lz4, хоть .tar.zst, хоть .tar.lrz.xz. Как вы предлагаете делать это с 7z?

Там, где нельзя на удалённую машину поставить rsync, данные всё равно можно реплицировать при помощи ssh foo tar c whatever | ssh bar tar x. Сколько ключей к 7z должен я выучить, чтобы провернуть то же самое, если я согласился представить себе, что он оказался в базе всех дистрибутивов пять-десять лет назад?

Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

21. "Релиз GNU tar 1.30"  –1 +/
Сообщение от Онаним on 18-Дек-17, 05:34 
> Как минимум там, где мне это нужно, я могу выкинуть .tar.gz в
> пользу хоть .tar.lz4, хоть .tar.zst, хоть .tar.lrz.xz. Как вы предлагаете делать
> это с 7z?

7z a -t gzip/bzip2/lzma2/xz и т.п.

> Там, где нельзя на удалённую машину поставить rsync, данные всё равно можно
> реплицировать при помощи ssh foo tar c whatever | ssh bar tar x.

Не пробовал (хотя понимаю, что чудом не понадобилось до сих пор), не знаю, но это либо работает также, либо на ключик сложнее, либо можно это добавить в список недостающего функционала заодно вместе с правами и ссылками.

Смысл того, к чему я призываю в том, чтобы формат сжатых архивов позволял

1. в любом случае читать оглавление мгновенно, без обращения к самим данным
2. делать не только жесткие solid архивы, но и такие, откуда можно достать отдельный файл, не разжимая остальные, а также, желательно, добавить файл в готовый архив (независимо от того, сжатый он или нет) или удалить файл из архива (аналогично).

Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

59. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (??) on 18-Дек-17, 14:41 
> Смысл того, к чему я призываю в том, чтобы формат сжатых архивов позволял
>
> 1. в любом случае читать оглавление мгновенно, без обращения к самим данным
> 2. делать не только жесткие solid архивы, но и такие, откуда можно достать отдельный файл, не разжимая остальные, а также, желательно, добавить файл в готовый архив (независимо от того, сжатый он или нет) или удалить файл из архива (аналогично).

Такие форматы есть, просто они не так часто бывают нужны. tar чаще всего используется, когда нужно передать файлы пачкой, без необходимости извлекать отдельные. Самый ходовой пример — распространение исходников ПО. Если бы был профит от использования другого формата для этой цели, на него давно бы перешли, но профита нет.
Безусловно, оглавление в некоторых случаях может быть весьма полезным, но это как правило специальные случаи, когда можно использовать что-то менее переносимое, например squashfs или специализированные форматы для бекапов (dar и К°).

Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

62. "Релиз GNU tar 1.30"  +3 +/
Сообщение от Аноним (??) on 18-Дек-17, 15:55 
>> Там, где нельзя на удалённую машину поставить rsync, данные всё равно можно
>> реплицировать при помощи ssh foo tar c whatever | ssh bar tar x.
> Не пробовал (хотя понимаю, что чудом не понадобилось до сих пор), не знаю, но это либо работает также, либо на ключик сложнее, либо можно это добавить в список недостающего функционала заодно вместе с правами и ссылками.

Не работает ни с какими ключиками. Точнее работает в том случае, когда пакуется ровно один файл. Если хочется провернуть такой фокус с помощью 7z для нескольких файлов… Догадаетесь, какой способ предлагается в man 7z?

Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

113. "Релиз GNU tar 1.30"  +/
Сообщение от Вася (??) on 19-Дек-17, 21:24 
> 7z a -t gzip/bzip2/lzma2/xz и т.п.
> Не пробовал (хотя понимаю, что чудом не понадобилось до сих пор), не
> знаю, но это либо работает также, либо на ключик сложнее, либо
> можно это добавить в список недостающего функционала заодно вместе с правами
> и ссылками.

Понимаешь, у тебя чисто виндовый подход: засунуть в одну утилиту все и вся. Чтоб она тебе и польку танцевала, и пирожки пекла, и ядерные отходы обезвреживала. Но мире никсов так не делают.

Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

14. "Релиз GNU tar 1.30"  –5 +/
Сообщение от Онаним on 18-Дек-17, 04:29 
Вот пускай бы те, кто пишет на кассеты этим и пользовались. Но нет, этим по дурацкой традиции приходится пользоваться всем линуксоидам во всех случаях, в которых под виндой люди пользуются 7Z/RAR/ZIP. Никто не торопится (сделай сам скажете? бесполезно, общество всё-равно предпочтёт традиционное) добавлять в 7zip поддержку прав доступа и ссылок и почти ни на одном сервере 7zip нет.
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

34. "Релиз GNU tar 1.30"  +1 +/
Сообщение от Аномномномнимус on 18-Дек-17, 10:51 
Выкинь на помойку свой RAR уже. Его лет 10 как тот же 7-zip обскакал по скорости, портабельности, качеству и где-то на уровне по фичам. Только он ещё опенсорсный, бесплатный и отечественный. Божественная вещь в себе с его SDK.
Всё остальное решается лишь адекватным выбором инструмента под задачу. Хочешь хомячку архив из директории - юзай p7zip. Хочешь адекватный архив умеющий те аттрибуты, о которых ты даже не слышал, юзай gzip -J (aka gzip --xz), gzip --lzma и вообще man gzip.
Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

93. "Релиз GNU tar 1.30"  –4 +/
Сообщение от VINRARUS (ok) on 19-Дек-17, 07:57 
>Выкинь на помойку свой RAR уже.

RAR не тронь!

Ответить | Правка | ^ к родителю #34 | Наверх | Cообщить модератору

122. "Релиз GNU tar 1.30"  +/
Сообщение от . on 20-Дек-17, 02:53 
Да с чего бы? Даже под форточкой перешёл на 7z ...
Ответить | Правка | ^ к родителю #93 | Наверх | Cообщить модератору

129. "Релиз GNU tar 1.30"  –2 +/
Сообщение от VINRARUS (ok) on 21-Дек-17, 01:14 
> Да с чего бы? Даже под форточкой перешёл на 7z ...

WinRAR реализовал идею tar.gz под винду в виде непрерывных архивов, токо не так топорно и с дедупликацией.
А ещо WinRAR отлично подходит для архивации в фоне, не блокируя систему 100% нагрузкой на ядра (при этом по времени и по сжатию почти как LZMA2).
Да и всем известную функцию имеет, извлечение битых архивов.
WinRAR это очень продвинутая софтина, есть за шо уважать старика.

ПС: WinRAR имеет самодостаточные самораспаковывающиеся архивы с примитивным скриптовым языком, лёгкой настройкой с гуя и HTML разметку меню приветствия - отличные пакеты установки под винду.

Ответить | Правка | ^ к родителю #122 | Наверх | Cообщить модератору

99. "Релиз GNU tar 1.30"  +3 +/
Сообщение от Дим on 19-Дек-17, 11:20 
>> и отечественный

<умиление>О, да! Это несомненный плюс, прямо таки обдно из главных достоинств любого ПО<умиление/>

Ответить | Правка | ^ к родителю #34 | Наверх | Cообщить модератору

105. "Релиз GNU tar 1.30"  +/
Сообщение от dq0s4y71 (ok) on 19-Дек-17, 15:43 
> портабельности

Вот не надо! Не знаю как сейчас, но раньше он был гвоздями прибит к COM (какая нужда была?) и p7zip - это сильно доработанный напильником 7zip.

Ответить | Правка | ^ к родителю #34 | Наверх | Cообщить модератору

55. "Релиз GNU tar 1.30"  +3 +/
Сообщение от Аноним (??) on 18-Дек-17, 13:41 
С 7zip просто невозможно нормально работать в консоли. В частности потому что в пайпы он толком не может. Про наркоманские аргументы выше уже писали.
Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

26. "Релиз GNU tar 1.30"  –1 +/
Сообщение от Аноним (??) on 18-Дек-17, 09:06 
>я вам 7zip 18 лет назад написал, пользуйтесь, и правнукам передайте.

Оу, а split-ом нарезать архив и гордо именовать это многотомным архивом ты тоже внукам предлагаешь в наследство оставить?

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

67. "Релиз GNU tar 1.30"  –3 +/
Сообщение от Pgor Iavlov on 18-Дек-17, 16:48 
> Оу, а split-ом нарезать архив и гордо именовать это многотомным архивом ты тоже внукам
> предлагаешь в наследство оставить?

ваши внуки уже не будут помнить, зачем вы пользовались split.


  

Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

119. "Релиз GNU tar 1.30"  +/
Сообщение от . on 20-Дек-17, 02:45 
Да не - у них размер файла до гуглебайта всего то. Так что придётся сплитить :-)
Ответить | Правка | ^ к родителю #67 | Наверх | Cообщить модератору

13. "Релиз GNU tar 1.30"  –1 +/
Сообщение от Аноним (??) on 18-Дек-17, 04:24 
Ругаются на ftp, теперь на tar..а когда надо быстро прокинуть по сети миллионы мелких и среднего размера файлов, то скажите пожалуйста мне как быстрее и менее затратно решить эту задачу без tar+ftp ?
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

16. "Релиз GNU tar 1.30"  –4 +/
Сообщение от Онаним on 18-Дек-17, 04:38 
Всегда когда не нужно сохранять права доступа и ссылки делаю это через 7z по SFTP (SSH File Transfer Protocol). Параметры сжатия 7z позволяет настраивать в широких пределах, не хотите сжимать - никто не заставляет, реально мне иногда лень ждать сжатия и я просто архивирую в 7z без сжатия.
Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

40. "Релиз GNU tar 1.30"  +2 +/
Сообщение от Аноним (??) on 18-Дек-17, 11:33 
Да знаю я 7z, но мне когда надо образ рабочей системы клонировать, то нужны права доступа. Кроме того, на свой тормозной android я не могу 7z закинуть, а tar - могу. SFTP - это большие нагрузки по сравнению с FTP.
Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

45. "Релиз GNU tar 1.30"  +1 +/
Сообщение от anonymous (??) on 18-Дек-17, 12:33 
netcat + tar
На исходной машине:
tar . -czf - | nc целевой_ip port
на целевой:
nc -l port | tar . -xzf[v] -

в busybox есть обе программы

Ответить | Правка | ^ к родителю #40 | Наверх | Cообщить модератору

57. "Релиз GNU tar 1.30"  +1 +/
Сообщение от Аноним (??) on 18-Дек-17, 13:54 
> netcat + tar

То же самое хотел написать. Наименее затратный вариант. И совершенно непотребный с точки зрения безопасности, намного хуже даже FTP. Для использования в сети из более двух машин с более чем одним пользователем — ssh + tar:

$ tar -c dir | ssh user@host tar -xf -

При желании можно добавить сжатие (-z -j или -J по вкусу, либо через пайп).
Этот пример иллюстрирует, что а) FTP не нужен (зачем поднимать отдельный сервер, выставлять его наружу, светить данными и логинами-паролями по незащищённому соединению?) и б) что никакой 7z не заменит tar не только для лент, но и для таких вот применений. Посему, дорогой мой anonimous, зря ты tar в один ряд с FTP ставишь. FTP уже наполовину засыпан в могилке, а tar будет жить ещё долго.
Ответить | Правка | ^ к родителю #45 | Наверх | Cообщить модератору

77. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (??) on 18-Дек-17, 19:57 
Это с единичным примером все хорошо, а у меня автоматизированное управление с анализом состояния системы. Там же обмен данным, backup и т.д. и это работает тоже не безусловно. Сделано все через FTP который не выставлен наружу. Поднимается FTP только по необходимости на внутренние интерфейсы которые доступны только в приватных сетях по VPN. Обмен данными множества сервисов удалось решить с помощью FTP без сложных разработок (привет JSON, XML, XHTML, ...). Но главное что все это расширяемо без ограничении и проблем и всегда с обратной совместимостью. В основе лежит тот же UNIX-way принцип файла.
Ответить | Правка | ^ к родителю #57 | Наверх | Cообщить модератору

79. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (??) on 18-Дек-17, 20:13 
> Это с единичным примером все хорошо, а у меня автоматизированное управление с
> анализом состояния системы. Там же обмен данным, backup и т.д. и
> это работает тоже не безусловно. Сделано все через FTP который не
> выставлен наружу. Поднимается FTP только по необходимости на внутренние интерфейсы которые
> доступны только в приватных сетях по VPN. Обмен данными множества сервисов
> удалось решить с помощью FTP без сложных разработок (привет JSON, XML,
> XHTML, ...). Но главное что все это расширяемо без ограничении и
> проблем и всегда с обратной совместимостью. В основе лежит тот же
> UNIX-way принцип файла.

Ну и что в приведённом мной примере не автоматизировано? Полностью неинтерактивная команда, можно вставлять в любой скрипт, и не надо городить костыли с поднятием FTP. SSH же и так на всех машинах настроен, дополнительный VPN не требуется (и аргумент про нагрузки из-за шифрования не канает, потому что избавляемся от шифрования VPN). Или скажешь, что пайпы — не юниксвейно?
Как правило, конечно, удобнее SFTP, который везде есть. А FTP и VPN — лишние сущности (в данном примере, конечно; я понимаю, что VPN для чего-то ещё может быть нужен).
В общем, зря ты своим велосипедом хвалишься. Он слишком переусложнён, хотя и использует вроде бы простой сам по себе FTP (на самом деле HTTP проще).

Ответить | Правка | ^ к родителю #77 | Наверх | Cообщить модератору

84. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (??) on 18-Дек-17, 21:28 
Зачем городить какие-то костыли с поднятием FTP если он поднимается по запросу на внутренний интерфейс? VPN тут организатор приватной сети который создает рабочую сеть. Мое решение использует уже существующий транспорт. Велосипеда тут никакого нет, есть очень простая и надежная организация хранения и обмена данными на основе FTP. Доступ в закрытой сети и защищенной сети обеспечивается FTP, авторизация сервиса осуществляется силами FTP. Скриптов и костылей нет, реализация программная, на принимающей стороне работают модули. Расширяется элементарно - добавлением perl-модуля с определенным названием и локацией модуля, будет подгружен на старте. HTTP нафиг тут не нужен, т.к. нет смысла вытаскивать атрибуты на уровень протокола, нужен просто транспорт для передачи данных. Все остальное идет в данных и обработка этих данных идет независимая, application-сервером. Все очень просто, прозрачно и надежно как молоток.
Ответить | Правка | ^ к родителю #79 | Наверх | Cообщить модератору

102. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (??) on 19-Дек-17, 13:29 
Где же просто? Ты используешь дополнительный сервис (как минимум FTP, если VPN уже есть) и расходуешь место на диске под временные файлы архивов, хотя можно было бы скормить их принимающей стороне через пайп.

> Скриптов и костылей нет, реализация программная, на принимающей стороне работают модули.

Perl-модуль — это не скрипт, а скрипт — не программа, разумеется. ☺
И разумеется, модули есть только для FTP.

Не, я не хочу сказать, что ты должен кинуться всё переписывать. Раз такая система удовлетворяет твоим потребностям — замечательно. Просто не надо пропагандировать такой подход как лучший и единственно верный.

Ответить | Правка | ^ к родителю #84 | Наверх | Cообщить модератору

110. "Релиз GNU tar 1.30"  –1 +/
Сообщение от ALex_hha (ok) on 19-Дек-17, 19:37 
> SFTP - это большие нагрузки по сравнению с FTP.

я бы не был так категоричен, никто не мешает отключить компрессию и использовать какой нить arcfour

Ответить | Правка | ^ к родителю #40 | Наверх | Cообщить модератору

128. "Релиз GNU tar 1.30"  +/
Сообщение от openssh on 20-Дек-17, 17:54 
> я бы не был так категоричен, никто не мешает отключить компрессию и использовать какой
> нить arcfour

мы мешаем, секьюрить наша всьо. Поэтому мы отломали этот ваш вредный аркфор, следом за none.
А "roaming" с ремотрутом, конечно же, оставили.

Ответить | Правка | ^ к родителю #110 | Наверх | Cообщить модератору

23. "Релиз GNU tar 1.30"  –1 +/
Сообщение от Greg KH on 18-Дек-17, 05:56 
> то скажите пожалуйста мне как быстрее и менее затратно

так в этом и проблема, что у всех синдром утенка, и кроме tar ничего нет более-менее стабильного и повсеместного. Это не отменяет убогость tar в современных реалиях как general purpose архиватора. Но по факту, он так себе, на троечку. Главное его достоинство не технологичность и не технические преимущества, а широкое распространение и то, что туда не дотянулись руки очередного "поттера", т.е. совместимость и стабильность.

Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

38. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (??) on 18-Дек-17, 11:29 
Огласите пожалуйста минусы tar. У cpio я знаю проблемы, у tar - нет.
Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

41. "Релиз GNU tar 1.30"  +/
Сообщение от Greg KH on 18-Дек-17, 11:42 
> Огласите пожалуйста минусы tar.

Самый критичный - отсутствие индекса для оптимального рандомного доступа к данным. Это просто блокирующий минус. Когда у тебя сотня гигов в архиве можешь вешаться. А с терабайтным образом проще вытащить дьявола из преисподней, чем файл из архива.

Помножим это на любимый всеми .gz, который не дает узнать размер исходных данных, и получим просто патовую ситауцию: 100 GB tar.gz, листинг которого строится уже 12 часов, шурша всеми возможным шпинделями , распаковка которорого на 3TB-ый том в первый раз закончилась неудачей из-за заполнения тома целиком.

Остальное вкусовщина и особенности реализации. Например, хочется итерации по каждому файлу в архиве, что бы с его данными что-то сделать (хотя бы прочитать), но без двойной пробежки. Например, в случае, если мы сжимаем или другим образом обрабатываем (eg шифруем) каждый файл по-отдельности, прозрачно для пользователя.

Ответить | Правка | ^ к родителю #38 | Наверх | Cообщить модератору

47. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (??) on 18-Дек-17, 12:42 
> Самый критичный - отсутствие индекса для оптимального рандомного доступа к данным.

Вообще-то, это зависит от реализации. pixz, например, умеет создавать индекс.

Ответить | Правка | ^ к родителю #41 | Наверх | Cообщить модератору

49. "Релиз GNU tar 1.30"  –1 +/
Сообщение от Greg KH on 18-Дек-17, 12:55 
squashfs тоже умеет. Но это совсем другой формат, к тому же прибито к компрессору xz. А речь про повсеместный стандарт. pixz, к сожалению, взял за основу свою кривой xz формат сжатия http://www.nongnu.org/lzip/xz_inadequate.html Поэтому выбираеть его как альтернативу бессмысленно - шило на мыло.
Ответить | Правка | ^ к родителю #47 | Наверх | Cообщить модератору

51. "Релиз GNU tar 1.30"  +2 +/
Сообщение от Аноним (??) on 18-Дек-17, 13:16 
> squashfs тоже умеет. Но это совсем другой формат, к тому же прибито
> к компрессору xz. А речь про повсеместный стандарт.

tar + pixz создают совершенно обычный .tar.xz, у которого в конце индекс. Распаковывается обычным tar'ом.

> pixz, к сожалению,
> взял за основу свою кривой xz формат сжатия http://www.nongnu.org/lzip/xz_inadequate.html
> Поэтому выбираеть его как альтернативу бессмысленно - шило на мыло.

Хотите надежность при долговременном хранении - выбирайте другой формат и храните рядом контрольные суммы. Используйте файловые системы, обеспечивающие коррекцию ошибок и дублирование. А для повседневного использования xz вполне себе подходит.

Ответить | Правка | ^ к родителю #49 | Наверх | Cообщить модератору

53. "Релиз GNU tar 1.30"  –3 +/
Сообщение от Greg KH on 18-Дек-17, 13:37 
>tar + pixz создают совершенно обычный .tar.xz, у которого в конце индекс. Распаковывается обычным tar'ом.

А, это точно, ведь tar-у хвост не нужен. Согласен, юзабельно, вот такое можно рекомендовать.

> выбирайте другой формат
> А для повседневного использования xz вполне себе подходит.

ну это немного неудобно. Ведь проблемы известны, надо избегать проблемных форматов. А не в 100й раз выбрать другой формат, когда нет объективных препятствий иметь универсальный. Но это оффтоп

Ответить | Правка | ^ к родителю #51 | Наверх | Cообщить модератору

58. "Релиз GNU tar 1.30"  +1 +/
Сообщение от Аноним (??) on 18-Дек-17, 13:58 
> squashfs тоже умеет. Но это совсем другой формат, к тому же прибито
> к компрессору xz.

См. mksquashfs(1):
>  -comp COMPRESSION
>           select COMPRESSION compression. Compressors available: gzip (default), lzo, xz.

Ответить | Правка | ^ к родителю #49 | Наверх | Cообщить модератору

76. "Релиз GNU tar 1.30"  –1 +/
Сообщение от Greg KH on 18-Дек-17, 19:40 
аноним, "Но [pixz] это совсем другой формат, к тому же прибито к компрессору xz" - вот что я имел ввиду.

Про squashfs вопросов нет. Довольно самодостаточный формат, но, к сожалению, не очень универсальный, инструментов не хватает

Ответить | Правка | ^ к родителю #58 | Наверх | Cообщить модератору

61. "Релиз GNU tar 1.30"  +/
Сообщение от PnDx (ok) on 18-Дек-17, 15:06 
Рассматривать (squashfs|btrfs|zfs) в качестве "архиватор+упаковщик" для таких вот случаев?
А tar (а местами так вообще cpio) оставить как универсальный транспорт "из точки А в точку Б" (ну и для ленточек, для которых его и задумывали)?
Ответить | Правка | ^ к родителю #41 | Наверх | Cообщить модератору

63. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (??) on 18-Дек-17, 16:02 
> Рассматривать (squashfs|btrfs|zfs) в качестве "архиватор+упаковщик" для
> таких вот случаев?

Это надо основательно yпороться, чтобы присовокупить btrfs и zfs. А squashfs — да, весьма годный архиватор общего назначения.

Ответить | Правка | ^ к родителю #61 | Наверх | Cообщить модератору

68. "Релиз GNU tar 1.30"  –2 +/
Сообщение от PnDx (ok) on 18-Дек-17, 17:06 
> Это надо основательно yпороться, чтобы присовокупить btrfs и zfs. А squashfs —
> да, весьма годный архиватор общего назначения.

  Ну, тогда удачи "поменять в архиве (3 ТБ) вот тот файлик и потом отдать изменённый архив".
Последние 2 в-ва спроектированы с целью расширять ваше сознание в т.ч. на данный случай ;) А нужно ли ими упарываться — личное дело каждого психо^W инженера.

Ответить | Правка | ^ к родителю #63 | Наверх | Cообщить модератору

71. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (??) on 18-Дек-17, 18:00 
Ну да, есть оговорки в плане области применения. Там, где нужно менять файлы, надо что-то другое. А на случай, когда один раз делаешь архив и потом им пользуешься в неизменном виде, — самое то.
Ответить | Правка | ^ к родителю #68 | Наверх | Cообщить модератору

80. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (??) on 18-Дек-17, 20:33 
> А с терабайтным образом проще вытащить дьявола из преисподней, чем файл из архива.

Зависит от количества файлов, мы же про tar, не про tar.gz? Для распаковки одного файла не обязательно читать весь tar файл целиком, он может прыгать seek'ом по заголовкам файлов пропуская их содержимое.

Ответить | Правка | ^ к родителю #41 | Наверх | Cообщить модератору

127. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (??) on 20-Дек-17, 17:09 
> Ругаются на ftp, теперь на tar..а когда надо быстро прокинуть по сети миллионы мелких и среднего размера файлов, то скажите пожалуйста мне как быстрее и менее затратно решить эту задачу без tar+ftp ?

rsync ?

Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

20. "Релиз GNU tar 1.30"  +2 +/
Сообщение от бедный буратино (ok) on 18-Дек-17, 04:55 
>  Всю жизнь жду когда же наконец уже эту окаменелость отправят на свалку истории и заменят чем-то человеческим

Я тоже жду такого в отношении местных Онанимов

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

22. "Релиз GNU tar 1.30"  –2 +/
Сообщение от Greg KH on 18-Дек-17, 05:38 
Есть резон, да. Присоединяйтесь! http://duplicity.nongnu.org/new_format.html
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

36. "Релиз GNU tar 1.30"  –2 +/
Сообщение от Аноним (??) on 18-Дек-17, 11:09 
> Есть резон, да. Присоединяйтесь! http://duplicity.nongnu.org/new_format.html

Да, на duplicity стоит обратить внимание.
И про замену tar хорошие мысли, но, когда будет реализация?

Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

52. "Релиз GNU tar 1.30"  +2 +/
Сообщение от Andrey Mitrofanov on 18-Дек-17, 13:35 
>> Есть резон, да. Присоединяйтесь! http://duplicity.nongnu.org/new_format.html
> Да, на duplicity стоит обратить внимание.
> И про замену tar хорошие мысли, но, когда будет реализация?

Согласен. Всё го???но, пусть уже делают мене хорошоу, бездельники. ><XXX>

Ответить | Правка | ^ к родителю #36 | Наверх | Cообщить модератору

33. "Релиз GNU tar 1.30"  +5 +/
Сообщение от Sfinx (ok) on 18-Дек-17, 10:46 
хе-хе, видать ты еще не вкурсе, что есть еще (и долго еще будет) cpio. я бы не доверил архивацию м ашин 7zip или еще какой херне пришежшей из мира msdos. просвети-ка, как 7zip обрабатывает жесткие ссылки, файлы устройств, unix pipes ? что он знает, к примеру, о примонтированных файловых системах, а ? вот к tar'у в этом плане вопросов нет.
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

100. "Релиз GNU tar 1.30"  –2 +/
Сообщение от Дим on 19-Дек-17, 11:26 
> Всю жизнь жду когда же наконец уже эту окаменелость отправят на свалку
> истории и заменят чем-то человеческим, что не нужно распаковывать целиком чтобы
> считать оглавление (например чем-то типа 7z с добавлением поддержки информации о
> правах доступа и ссылок). Надеюсь хоть правнукам не придётся использовать это
> древнее зло.

И это реально такая большая проблемма чтобы ждать ее решения всю жизнь? Чувак, ну ты там это, держись там, всего хорошего тебе -досвидания!

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

7. "Релиз GNU tar 1.30"  +/
Сообщение от Борщдрайвен бигдата on 18-Дек-17, 02:57 
Ого. Оно еще развивается, я думал, что утилиту уже отшлифовали до идеала.
Круто.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

10. "Релиз GNU tar 1.30"  +4 +/
Сообщение от Аноним (??) on 18-Дек-17, 03:37 
Одно время отсылал авторам пару мелких патчей, для чего ковырялся в исходниках (неглубоко) и истории коммитов. И должен сказать, что значительная часть gnu tar - это обработка различных частных случаев, возникавших когда-либо у разных людей, с абсолютно минимальной общей схемой работы. По сути огромное количество подпорок к... да ни к чему, нечего там подпирать, просто огромное количество подпорок, работающих сами по себе.

А модель разработки примерно следующая: возникла у человека проблема/задача - её реализуют местечково без продумывания работы утилиты в целом. Если вдруг эта реализация что-то ломает, то уже начинают думать, как бы это сделать пограмотнее. Посмотрите `info tar` и увидите кучу несязанных опций на каждый частный случай. Хотя отдам должное, мой фич-реквест автор реализовал гораздо проще и органичнее, чем планировал я, но всё равно вместо общего решения просто была добавлена подпорка на мой конкретный случай.

Я всё это не столько чтоб оскорбить авторов tar (утилита-то культовая, да и имеет ряд критичных для меня возможностей, которых я не нашёл у аналогов типа star), а просто чтоб сказать, что при сущестующем подхдое к разработке до идеала эту утилиту никогда не отшлифуют: будут просто постоянно добавлять опции для решения сиюминутных проблем, которые репортят пользователи.

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

11. "Релиз GNU tar 1.30"  –2 +/
Сообщение от angra (ok) on 18-Дек-17, 03:46 
Реальный мир вообще не склонен укладываться в любые модели/системы/архитектуры. И лично мне больше по душе подход tar, чем его альтернатива, когда заставляют пользователей адаптироваться к архитектуре проекта.
Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

82. "Релиз GNU tar 1.30"  +/
Сообщение от Vjatcheslav email on 18-Дек-17, 20:53 
Интересно было бы переписать тар на лиспе или схеме...и посмотреть, что получится.
По идее это помогло бы бороться с ползучей фичезацией в ситуации "лебедь, рак и щука".

"На Лиспе гораздо удобнее и быстрее на писать прототип, чем составлять спецификацию"

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

86. "Релиз GNU tar 1.30"  +1 +/
Сообщение от Аноним (??) on 18-Дек-17, 23:46 
> "На Лиспе гораздо удобнее и быстрее на писать прототип, чем составлять спецификацию"

На чём угодно гораздо удобнее и быстрее написать прототип, чем составлять спецификацию. Практически все современные методы разработки основаны на этом принципе.

Ответить | Правка | ^ к родителю #82 | Наверх | Cообщить модератору

114. "Релиз GNU tar 1.30"  +/
Сообщение от Вася (??) on 19-Дек-17, 21:44 
Уже: https://github.com/froydnj/archive/blob/master/tar.lisp
Ответить | Правка | ^ к родителю #82 | Наверх | Cообщить модератору

8. "Релиз GNU tar 1.30"  –5 +/
Сообщение от Аноним (??) on 18-Дек-17, 03:09 
Mc все так же виснет на 12 минут при нажатии F3 по нему?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

44. "Релиз GNU tar 1.30"  +1 +/
Сообщение от Аноним (??) on 18-Дек-17, 12:23 
Может ты zip имел в виду, дурашка?
Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

30. "Релиз GNU tar 1.30"  –3 +/
Сообщение от eganru on 18-Дек-17, 09:58 
частенько использую tar для того чтобы сохранить большое число маленьких файлов.
tar быстро и без фокусов упаковывает их в контейнер, с которым потом удобно работать.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

42. "Релиз GNU tar 1.30"  –2 +/
Сообщение от Greg KH on 18-Дек-17, 11:44 

> tar быстро и без фокусов упаковывает их в контейнер

да


> с которым потом удобно работать

нет (see #41 )

Ответить | Правка | ^ к родителю #30 | Наверх | Cообщить модератору

43. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (??) on 18-Дек-17, 12:04 

>> tar быстро и без фокусов упаковывает их в контейнер
> да
>> с которым потом удобно работать
> нет (see #41 )

Если У Вас 100GB в архивах, то Вам явно необходимо что-то менять в консерватории.

И Вы там упоминали про duplicity, да, но наверное это тоже для Вас не вариант. Может как нибудь структурировать данные. Это конечно не уже не задачи архиваторов и упаковщиков.

И когда нибудь наверняка, должен будет появится довольно таки легковесный комбайн, который объединит все необходимое Вам в один флакон (да еще и в необходимой пропорции ;)

Ответить | Правка | ^ к родителю #42 | Наверх | Cообщить модератору

46. "Релиз GNU tar 1.30"  –4 +/
Сообщение от Greg KH on 18-Дек-17, 12:39 
> Если У Вас 100GB в архивах, то Вам явно необходимо что-то менять в консерватории.

А это не нашей консерватории архив. Понимаешь в чем дело, когда все вокруг следуют советам из детской книжки "Линукс для чайников" писать всегда "tar czf" незадумываясь, то потом приходится иметь дело с такими вот 100GB tar.gz. Ну а что, "на форуме посоветовали", "в книжке написали", "в модном faq указали".

Вот я поставил минус #30, что бы дурными советами не разбрасывался товарищ.

Авторам статей, факов, ответов на форумах пора прекратить везде пихать tar без явного указания на то, что данные не должны быть больше пары гигабайт. Иначе будет бо-бо тому, что будет эти данные читать. И в man добавить стыдную инфу: не больше 5GB! Вот в этом мой пойнт.

Ответить | Правка | ^ к родителю #43 | Наверх | Cообщить модератору

48. "Релиз GNU tar 1.30"  –6 +/
Сообщение от Greg KH on 18-Дек-17, 12:46 
> не больше 5GB!

Кстати, для gz - не больше 2GB. Там внизу `man gzip` написано, что оно не работает. Но кто ж читает ман на компрессор, когда сжимает в tar.gz.

Как все смеялись над fat32 с её невозможностью записывать туда образы DVD целиком! Но как-то все забыли, что классические линуксовые инструменты не работают должным образом с файлами >2GB.

STOP USING TAR! STOP USING GZ! Так победим!

Ответить | Правка | ^ к родителю #46 | Наверх | Cообщить модератору

60. "Релиз GNU tar 1.30"  +5 +/
Сообщение от Аноним (??) on 18-Дек-17, 14:55 
>> не больше 5GB!
> Кстати, для gz - не больше 2GB. Там внизу `man gzip` написано,
> что оно не работает. Но кто ж читает ман на компрессор,
> когда сжимает в tar.gz.

Во-первых, 4Г. Во-вторых, работает, только размер сжатого файла неправильно отображается.

$ dd if=/dev/zero bs=1M count=5120 | gzip > file.gz
5120+0 записей получено
5120+0 записей отправлено
5368709120 байт (5,4 GB, 5,0 GiB) скопирован, 31,9478 s, 168 MB/s
$ gzip -l file.gz
         compressed        uncompressed  ratio uncompressed_name
            5210210          1073741824  99.5% file
$ zcat file.gz | wc -c
5368709120

> STOP USING TAR! STOP USING GZ!

Не дождётесь!

Ответить | Правка | ^ к родителю #48 | Наверх | Cообщить модератору

73. "Релиз GNU tar 1.30"  –2 +/
Сообщение от Greg KH on 18-Дек-17, 19:22 
> Во-первых, 4Г.

О, замечательно, заглянули в ман

> zcat file.gz | wc -c

самому то не смешно? Ты либо сознательно прикидываешься, либо абсолютно некомпетентен в IT.

Человек, считающий на полном серьезе, что O(N) - это допустимая сложность для алгоритма получения размера файла, не должен иметь права голоса на техническом форуме.

Ответить | Правка | ^ к родителю #60 | Наверх | Cообщить модератору

83. "Релиз GNU tar 1.30"  +1 +/
Сообщение от Аноним (??) on 18-Дек-17, 21:08 
Я и не предлагаю таким образом проверять размер файла, я таким образом просто показал, что он сохранился полностью, хотя gzip -l и показывает ерунду. А вот когда мне в реальных условиях нужно было узнать размер сжатого файла — я с трудом припоминаю… Кажется примерно никогда. А тебе?
Ответить | Правка | ^ к родителю #73 | Наверх | Cообщить модератору

90. "Релиз GNU tar 1.30"  –2 +/
Сообщение от Greg KH on 19-Дек-17, 03:39 
>  А тебе?

А ты видимо тред не читал? Здесь всё есть, грепай по "100"

Когда припекает, а такой возможности нет, понимаешь, насколько наколенные поделки эти gzip и tar. Это совсем не уровень промышленной системы с почти полувековой традицией. Ты же не можешь заранее знать, чего наивный юзер загонит в архив. Вон, тут уже и 'tar | nc' советуют во все поля. И с ростом объемов юзеры будут сталкиваться с этим чаще и чаще, явная проблема. Нет, давайте будем молиться на этот tar и gzip, аки мощам.

Ответить | Правка | ^ к родителю #83 | Наверх | Cообщить модератору

101. "Релиз GNU tar 1.30"  +1 +/
Сообщение от Аноним (??) on 19-Дек-17, 13:07 
Это не наколенные поделки, просто они отчасти морально устарели и не всегда соответствуют современным потребностям. Молиться не надо, но использовать, когда нужно обеспечить максимальную переносимость, стоит. В остальных случаях предпочитаю xz. От tar вижу смысл отказываться только тогда, когда действительно важен произвольный доступ (squashfs), нужна дедупликация (borg) или инкрементальные бекапы (dar). Однако не менее 90% юзкейсов — запаковать архив, передать его, распаковать целиком; тут tar годится не хуже любого другого архиватора.
Ответить | Правка | ^ к родителю #90 | Наверх | Cообщить модератору

108. "Релиз GNU tar 1.30"  –1 +/
Сообщение от VINRARUS (ok) on 19-Дек-17, 18:02 
> От tar вижу смысл отказываться только тогда, когда действительно важен произвольный доступ (squashfs), нужна дедупликация (borg)

squashfs имеет встроеную дедупликацию.

Ответить | Правка | ^ к родителю #101 | Наверх | Cообщить модератору

115. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним84701 (ok) on 19-Дек-17, 22:11 
>> От tar вижу смысл отказываться только тогда, когда действительно важен произвольный доступ (squashfs), нужна дедупликация (borg)
> squashfs имеет встроеную дедупликацию.

Если ее не дополнили,  т.е. дедупликация на уровне файлов, то это не то.

В дедупе борга, аттики, zbackup (и вроде бы, лезть в сорцы лень) rsync и еще целой кучи утилит/клонов основная фишка в нахождении дублирующихся _кусков_ (а не просто блоков, как например в zfs или целых файлов, как в squashfs) данных вариативной длины.

Пример:
Файл А: 11 22 33 44 55
Файл Б: 11 22 33 44 55
Файл В: 11 22 33 44 56
Файл Г: 00  11 22 33 44

А и Б (дупликаты на уровне файлов) распознаются сквошем (хэш/пров. сумма файла)
B (часть данных различается) детектится блочными дедупликаторами, типа ZFS и сохраняется только отличающийся блок.
На Г ("сдвиг")  блочный дедупликатор обломится (если конечно "сдвиг" не равен кратному длины блока), а вот "кусочная" дедупликация сможет "отделить мух от котлет".

Естественно, все имеет свою цену - первый способ почти "бесплатен", т.к. при упаковке пров. суммы файлов все равно считаются, тем более, пакуются данные только один раз.
Поблочный дедупликатор считает при каждой записи, плюс ему нужны индексы (см. классическую интернациональную драму на форумах всего интернета "ZFS дедап жрет ОЗУ как не в себя!" - фряшники советуют исходить от 2 до 5ГБ ОЗУ на 1 ТБ файлов).
У дедапа с кусками различной длины есть недостатки предыдущих способов, плюс еще более подтормаживающий хэш (тут правда смотреть надо - питон он обычно скоростью не отличается, а zbackup-овых 40-60 МБ/s может вполне хватать). Но для инкрементальных бэкапов, хранения или передачи схожих данных по узкому каналу и прочего оно вполне себе очень даже ничего.

Ключевые слова chunks + rolling hash + rabin karp
Кроме педивикии, см. можно тут:
https://github.com/YADL/yadl/wiki/Rabin-Karp-for-Variable-Ch...
https://software.intel.com/en-us/articles/accelerate-data-de...

Ответить | Правка | ^ к родителю #108 | Наверх | Cообщить модератору

117. "Релиз GNU tar 1.30"  –1 +/
Сообщение от VINRARUS (ok) on 20-Дек-17, 00:34 
>основная фишка в нахождении дублирующихся _кусков_ (а не просто блоков, как например в zfs или целых файлов, как в squashfs) данных вариативной длины.

Это ж какие размеры используемой оперативки должны быть при упаковке? В блочной дедупликации все просто и быстро с кс, а тут какое мин. количество байт участвует в дедупликации?

Ответить | Правка | ^ к родителю #115 | Наверх | Cообщить модератору

118. "Релиз GNU tar 1.30"  +1 +/
Сообщение от Аноним84701 (ok) on 20-Дек-17, 01:57 
>>основная фишка в нахождении дублирующихся _кусков_ (а не просто блоков, как например в zfs или целых файлов, как в squashfs) данных вариативной длины.
> Это ж какие размеры используемой оперативки должны быть при упаковке? В блочной дедупликации все просто и быстро с кс, а тут какое мин. количество байт участвует в дедупликации?

Там в основном оперативка под индексы уходит, а данные полностью в ОЗУ держать нет нужды.

Eсли брать zbackup, то примерно 2МБ на ГБ данных в репе, автор
http://zbackup.org/ см. "Scalability"
говорит о  примерно 1ГБ ОЗУ на 1ТБ репы.

Ответить | Правка | ^ к родителю #117 | Наверх | Cообщить модератору

123. "Релиз GNU tar 1.30"  –1 +/
Сообщение от VINRARUS (ok) on 20-Дек-17, 02:59 
>>>основная фишка в нахождении дублирующихся _кусков_ (а не просто блоков, как например в zfs или целых файлов, как в squashfs) данных вариативной длины.
>> Это ж какие размеры используемой оперативки должны быть при упаковке? В блочной дедупликации все просто и быстро с кс, а тут какое мин. количество байт участвует в дедупликации?
> Там в основном оперативка под индексы уходит, а данные полностью в ОЗУ
> держать нет нужды.

Ну так ясно.
> Eсли брать zbackup, то примерно 2МБ на ГБ данных в репе, автор
> http://zbackup.org/ см. "Scalability"
> говорит о  примерно 1ГБ ОЗУ на 1ТБ репы.

Другими словами должен совпадать 1 кб непрерывных данных.
Ну да, 16 кб на блок у btrfs это немного не то. :)

Ответить | Правка | ^ к родителю #118 | Наверх | Cообщить модератору

56. "Релиз GNU tar 1.30"  –1 +/
Сообщение от Борщдрайвен бигдата on 18-Дек-17, 13:52 
Так и что плохого в архивах по паре сотен гб где-то в s3, например?
Ответить | Правка | ^ к родителю #43 | Наверх | Cообщить модератору

66. "Релиз GNU tar 1.30"  +/
Сообщение от Crazy Alex (ok) on 18-Дек-17, 16:33 
Да ничего, но товарищ там зачем-то листинги хочет и частичную распаковку. Не помню, когда оно нужно было.
Ответить | Правка | ^ к родителю #56 | Наверх | Cообщить модератору

74. "Релиз GNU tar 1.30"  –1 +/
Сообщение от Greg KH on 18-Дек-17, 19:26 
> зачем-то листинги хочет

хватит лицемерить. Неужели, желание списка файлов в архиве - это такой жупел, что меня готовы уже вiндузятником объявить, лишь бы не признать, что tar (и gz) - убоги в качестве дефолтного решения, и используется только потому, что нет альтернативы.


> зачем-то листинги хочет

Ты себе макбук купил что ли? Симптомы больно похожи: ответ "ненужно" на вопрос о тривиальной фиче, которой нет в системе, и брызганье слюной после появления этой фичи в следующем релизе.

Ответить | Правка | ^ к родителю #66 | Наверх | Cообщить модератору

81. "Релиз GNU tar 1.30"  +1 +/
Сообщение от Борщдрайвен бигдата on 18-Дек-17, 20:36 
Так ведь tar не особо для этого. Собрать файлы в один, положить на ленту и забыть до Рагнарёка.
Ответить | Правка | ^ к родителю #66 | Наверх | Cообщить модератору

65. "Релиз GNU tar 1.30"  +1 +/
Сообщение от Анонимм (??) on 18-Дек-17, 16:32 
>>> tar быстро и без фокусов упаковывает их в контейнер
>> да
>>> с которым потом удобно работать
>> нет (see #41 )
> Если У Вас 100GB в архивах, то Вам явно необходимо что-то менять в консерватории.

Отлично: не держать слишком больших архивов, потому что с ними неудобно работать и писать что все прекрасно работает и поэтому ничего менять не надо (а у кого работает не очень, тот конечно же ССЗБ). Напоминает яблочное "Вы просто свой айфон неправильно держите!"

Из того же dump архива, хотя он тоже изначально "кассетный", бэкапы отдельных файлов восстанавливаются только влет. Но tar был бы удобнее из-за отсутствия привязки к конкретной ФС.
Может просто стоит признать, что времена хардов на 100МБ безвозвратно ушли и современные требования к архивам немного изменились?

Ответить | Правка | ^ к родителю #43 | Наверх | Cообщить модератору

69. "Релиз GNU tar 1.30"  –1 +/
Сообщение от Аноним (??) on 18-Дек-17, 17:45 

> Из того же dump архива, хотя он тоже изначально "кассетный", бэкапы отдельных
> файлов восстанавливаются только влет. Но tar был бы удобнее из-за отсутствия
> привязки к конкретной ФС.

"Влет" это как? Смонтировать через losetup, и скопировать необходимый файл? Ну, тогда да!
Тогда пишите tar_fs с опциями gz, bz2, lzma, ... Правда скорость на мой взгляд будет, ну Вы поняли ;)

> Может просто стоит признать, что времена хардов на 100МБ безвозвратно ушли и
> современные требования к архивам немного изменились?

Да! Но это не значит, что tar необходимо выкинуть.

Ответить | Правка | ^ к родителю #65 | Наверх | Cообщить модератору

72. "Релиз GNU tar 1.30"  +2 +/
Сообщение от Анонимм (??) on 18-Дек-17, 19:16 

> "Влет" это как? Смонтировать через losetup, и скопировать необходимый файл? Ну, тогда да!

дамп в смысле "высокоуровневого", сделанного через утилиту dump.
Влет, это подключить терабайтный хард с бэкапами к ноуту без USB3 и запустив restore -if на 100ГБом дамп-архиве, выбрать интерактивно файлы для восстановления и восстановить их. За пару минут, а не полчаса. Так же неплохо работает с пожатым дампом, если использовать блоковое сжатие.

> Да! Но это не значит, что tar необходимо выкинуть.

Вообще-то ветка ветка начинается с #30, где пишут о
> с которым потом удобно работать.

Или усомниться в безоговорочности удобства работы с tar в современных реалиях (и юзкейзах) уже сам по себе призыв к выкидыванию?


Ответить | Правка | ^ к родителю #69 | Наверх | Cообщить модератору

75. "Релиз GNU tar 1.30"  –1 +/
Сообщение от Greg KH on 18-Дек-17, 19:30 
> Ну, тогда да! Тогда пишите tar_fs с опциями gz, bz2, lzma, .

Вы реально настолько некомпетентны, не понимаете, почему dump-архив позволяет вытаскивать файлы быстро, а tar-архив - не позволяет? Ну так вы спросите сначала, может быть поймете, и не будете невежеством бравировать.

Ответить | Правка | ^ к родителю #69 | Наверх | Cообщить модератору

96. "Релиз GNU tar 1.30"  +1 +/
Сообщение от Аноним (??) on 19-Дек-17, 09:35 
>> Ну, тогда да! Тогда пишите tar_fs с опциями gz, bz2, lzma, .
> Вы реально настолько некомпетентны, не понимаете, почему dump-архив позволяет вытаскивать
> файлы быстро, а tar-архив - не позволяет? Ну так вы спросите
> сначала, может быть поймете, и не будете невежеством бравировать.

Спасибо, за публичную порку ;)
Так давно это было, что аж успело забыться. Еще раз посмотрел man dump и просторы Интернета. В очередной раз понравилось. К сожалению пока ручки не дошли. Все по старинке tar, rsync.
Но очень необходимо себя заставить изучить dump and duplicity, и сравнить (особенно в вопросе инкрементального backup-а).

Ответить | Правка | ^ к родителю #75 | Наверх | Cообщить модератору

98. "Релиз GNU tar 1.30"  –2 +/
Сообщение от Greg KH on 19-Дек-17, 11:19 
Спасибо за адекват, анонимус

> изучить dump and duplicity

Мне вообще странно, почему dump не особо популярен в linux, тогда как в bsd dump это мейнстрим.

А duplicity оставляет двоякое впечатление

Мне понравился borg backup из относительно свежего последного

Ответить | Правка | ^ к родителю #96 | Наверх | Cообщить модератору

103. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (??) on 19-Дек-17, 13:42 
> Спасибо за адекват, анонимус
>> изучить dump and duplicity
> Мне вообще странно, почему dump не особо популярен в linux, тогда как
> в bsd dump это мейнстрим.
> А duplicity оставляет двоякое впечатление
> Мне понравился borg backup из относительно свежего последного

Мне вообще кажется, что достаточно важно в этом вопросе это то, что система позволяет сразу после (или в течении) процесса обновления (создания) копии, сможет сделать unattended верификацию всей (или случайной части) сохраненной в резервной информации с оригиналом. И самое главное, в случае, если что то пошло не так, отправит сообщение (обязательно зашифрованное) на указанный в настройках системы адрес электронной почты (лучше на несколько ;)
В принципе все выше озвученное не так сложно реализовать путем скриптования (ну скажем на shell).
Просто должен найтись Человек, который с удовольствием, реализует начальный функционал в течении выходных! Позже, может кто то подключится и допилят.

Ответить | Правка | ^ к родителю #98 | Наверх | Cообщить модератору

85. "Релиз GNU tar 1.30"  +/
Сообщение от eganru on 18-Дек-17, 23:13 
У меня нет цели какого-либо детального анализа или желания вдруг что-то там по отдельности открыть.
Контейнеры складываются в папку. Если вдруг - я могу открыть и глянуть, что там когда-то было.

В конце-то концов я никому не пытаюсь доказать, что им так будет лучше или вроде того. Я так делаю. меня это устраивает.

Ответить | Правка | ^ к родителю #42 | Наверх | Cообщить модератору

50. "Релиз GNU tar 1.30"  +4 +/
Сообщение от Аноним (??) on 18-Дек-17, 12:58 
Вендузоиды бомбят. Хорошо.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

87. "Релиз GNU tar 1.30"  –2 +/
Сообщение от Аноним (??) on 19-Дек-17, 00:24 
какой консольный компрессор под уникс посоветуете? главное требование максимальное сжатие дирктории или рандомных файлов.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

88. "Релиз GNU tar 1.30"  +2 +/
Сообщение от Глупышь on 19-Дек-17, 02:11 
.xz
Ответить | Правка | ^ к родителю #87 | Наверх | Cообщить модератору

89. "Релиз GNU tar 1.30"  +/
Сообщение от Борщдрайвен бигдата on 19-Дек-17, 02:44 
Какие ещё требования? Какой способ применения, что потом будет с файлами? Как будут читаться?
В какой среде будет выполнятся код?
Степень сжатия — ещё не всё, %username%. Если ты не наброса ради пришел сюда, то выпиши ответы для себя на эти вопросы, подумай и почитай о разных алгоритмах.
Если для наброса, то попробуй потоньше.
Хорошо?
Ответить | Правка | ^ к родителю #87 | Наверх | Cообщить модератору

91. "Релиз GNU tar 1.30"  +/
Сообщение от Greg KH on 19-Дек-17, 03:42 
lzip конечно же и его параллельная реализация plzip
Ответить | Правка | ^ к родителю #87 | Наверх | Cообщить модератору

104. "Релиз GNU tar 1.30"  –1 +/
Сообщение от Аноним (??) on 19-Дек-17, 15:23 
Есть какие-то объективные причины использовать его, а не xz, ставший уже стандартом де-факто?
Ответить | Правка | ^ к родителю #91 | Наверх | Cообщить модератору

106. "Релиз GNU tar 1.30"  +/
Сообщение от Анонимм (??) on 19-Дек-17, 16:05 
> Есть какие-то объективные причины использовать его, а не xz, ставший уже стандартом де-факто?

http://www.nongnu.org/lzip/xz_inadequate.html
Краткая выжимка:
Key findings include:
(1) safe interoperability among xz implementations is not guaranteed;
(2) xz's extensibility is unreasonable and problematic;
(3) xz is vulnerable to unprotected flags and length fields;
(4) LZMA2 is unsafe and less efficient than the original LZMA;
(5) xz includes useless features that increase the number of false positives for corruption;
(6) xz shows inconsistent behavior with respect to trailing data;
(7) error detection in xz is several times less accurate than in bzip2, gzip and lzip.


Ответить | Правка | ^ к родителю #104 | Наверх | Cообщить модератору

107. "Релиз GNU tar 1.30"  –1 +/
Сообщение от Аноним (??) on 19-Дек-17, 17:45 
Почитал. Отчасти выглядит разумно, отчасти — явные придирки, отчасти — передёргивание фактов. В общем, не очень убедительно.
Ответить | Правка | ^ к родителю #106 | Наверх | Cообщить модератору

92. "Релиз GNU tar 1.30"  +/
Сообщение от аноним_оп on 19-Дек-17, 05:53 
спасибо! почитаю подробнее про алгоритмы. файлы обычные не системные из хоум директории без специальных атрибутов и иерархии. задача заархивировать и сжать по максимуму ввиде бекапа и потом извлечь все вместе в ту же или любую другую.
Ответить | Правка | ^ к родителю #87 | Наверх | Cообщить модератору

95. "Релиз GNU tar 1.30"  +/
Сообщение от Greg KH on 19-Дек-17, 09:06 
> задача заархивировать и сжать по максимуму ввиде бекапа и потом извлечь все вместе в ту же или любую другую.

предлагаю использовать squashfs (см man mksquashfs), компрессию ему можно указать xz как наиболее сильный из доступных

Eще посмотри на dar (Disk ARchive)

А в качестве системы бекапа можно посмотреть на borg backup

Ответить | Правка | ^ к родителю #92 | Наверх | Cообщить модератору

97. "Релиз GNU tar 1.30"  –3 +/
Сообщение от VINRARUS (ok) on 19-Дек-17, 10:53 
>> задача заархивировать и сжать по максимуму ввиде бекапа и потом извлечь все вместе в ту же или любую другую.
> предлагаю использовать squashfs (см man mksquashfs), компрессию ему можно указать xz как
> наиболее сильный из доступных

squashfs крут тем шо его можна просто смонтировать в любую папку и работать дальше стандартными средствами ОС. Жаль RO.

Ответить | Правка | ^ к родителю #95 | Наверх | Cообщить модератору

120. "Релиз GNU tar 1.30"  +2 +/
Сообщение от pavlinux (ok) on 20-Дек-17, 02:46 
Подскажи как на WindowsXP/Solaris/AIX/iOS11/... смонтировать сквошу?
Ответить | Правка | ^ к родителю #97 | Наверх | Cообщить модератору

125. "Релиз GNU tar 1.30"  +1 +/
Сообщение от . on 20-Дек-17, 03:55 
Наш, Советский матрос - умеет задать правильный вопрос! (С) :)
Ответить | Правка | ^ к родителю #120 | Наверх | Cообщить модератору

126. "Релиз GNU tar 1.30"  –3 +/
Сообщение от VINRARUS (ok) on 20-Дек-17, 04:15 
> Подскажи как на WindowsXP/Solaris/AIX/iOS11/... смонтировать сквошу?

Я на винде открывал через 7zip. В теории возможно монтирование как обычный iso сторонними прогами.
ПС: зачем на этих ОС монтирование squashfs если они не поймут линуксовых файловых атрибутов?

Ответить | Правка | ^ к родителю #120 | Наверх | Cообщить модератору

130. "Релиз GNU tar 1.30"  +1 +/
Сообщение от pavlinux (ok) on 21-Дек-17, 03:01 
> ПС: зачем на этих ОС монтирование squashfs ...

А я откуда знаю, зачем вы сквошем пытаетесь заменить всея платформенный tar?
.tag.gz уже вантузы понимают,  олскульный tar.Z, вообще с WindowsNT 3.51.  

И во-вторых, накой ляд мне чьи-то файловые/расширенные атрибуты?
С вероятностью 99.999% на новой машине они не совпадут.
Проходили, знаем, либо версия ни та, либо uid не существует, либо существует,
но не совпадает по имени. Внезапно xattr .system от юзера откажется записываться.

Это работает в пределах, в лучшем случае одной группы программеров,
в обычном случае только у тебя и твоих подконтрольных компах.

> ... если они не поймут линуксовых файловых атрибутов?

О-o-o-о, батенька, да мы ещё и не знаем что такое атрибута файла,
расширенные атрибуты, как и зачем с ними работать... С этого бы и начинал.

Диванные вы мои. :D

Ответить | Правка | ^ к родителю #126 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру