/ Статьи / Системное / Работа с архивами в Linux. Часть 2. Тест архиваторов в Linux. /

Работа с архивами в Linux. Часть 2. Тест архиваторов в Linux.

Дата публикации: March 26, 2010, 12:49 p.m.
Теги: архивы,
Автор: Brainsburn

Сжатие данных в средние века

Сравнение архиваторов в Linux

Долгое время я хотел провести сравнительный тест популярных архиваторов, которые доступны в Linux и вот, наконец, появилось свободное время, чтобы сделать это. Я не стал испытывать экзотические или устаревшие архиваторы, в эксперименте приняли участие 7z, xz, zip, bzip2, gzip и даже была скачана триальная версия архиватора rar. Все архиваторы тестировались с тремя различными настройками сжатия - быстрейшее, среднее (дефолтное) и наилучшее сжатие. Сразу скажу - я не стал экспериментировать с дополнительными опциями вроде размера словарей, - все это я оставил по умолчанию, в ином случае сравнение архиваторов растянулось бы в несколько раз и стало бы менее понятным. Тем более, различные ухищрения с опциями сжатия не всегда приводят к ожидаемым результатом, разработчики вполне хорошо знают свои детища, поэтому чтобы достичь максимального сжатия данных в 7z, достаточно использовать опцию -mx=9 и не парить себе мозги :)

Сейчас передо мной открыто несколько толстых файлов с текстом, из которых мне нужно собрать статью, не забыв ничего нужного и выкинув лишний хлам. Это - самое сложное :) Я постараюсь представить все это в более-менее читаемом виде. Поехали!


Тестируемые архиваторы и распаковщики
  • Gzip 1.4
  • Bzip2 1.0.5
  • RAR 3.93
  • ZIP 3.0
  • unzip 6.0
  • tar 1.22 (в этой версии появилась поддержка xz-utils)
  • xz-utils 4.999
  • p7zip 9.04



  • Чем замерялось время выполнения
    Утилитой time. Эта утилита может показывать реальное число секунд, затраченных процессором на выполнение какой-либо задачи. Это очень важно для тестирования архиваторов. Например, если я решу сжать исходники ядра Linux архиватором ZIP и буду засекать время выполнения задачи обычным секундомером, то обнаружу, что в первый раз сжатие заняло около 2-х минут, второй раз - примерно 30 секунд, в третий раз - 10 секунд. Думаю, не стоит говорить, почему так происходит. Утилита time позволяет избежать подобных проблем и во всех случаях выводит одинаковый результат - кол-во секунд, затраченных CPU на выполнение задачи (Total number of CPU-seconds that the process spent in user mode.) Грубо говоря, результаты тестирования не зависят от скорости чтения данных с жесткого диска.


    Какие типы файлов сжимались
  • Большая куча медиа файлов, которые по сути уже сжаты. Это всякие mp3, jpeg, pdf и avi.
  • Бинарные файлы
  • Образ CD-диска
  • Исходники ядра Linux
  • Несжатые документы, txt и doc файлы
  • Большое количество мелких файлов



  • В каком окружении проводились тесты
    32-битный ЦПУ, 4ГБ DDR2 ОЗУ. Дистрибутив Gentoo Linux, файловая система ext4fs. Все тесты проводились в консоли с выключенными иксами, остановленными ненужными демонами и вообще выключено было все, что можно, даже свет :) Т.е. компьютер использовался исключительно для тестирования архиваторов и не более.


    Что учитывалось в тестировании
  • Тип сжимаемых данных и кол-во файлов
  • Скорость архивирования
  • Размер полученных архивов
  • Скорость распаковки полученных архивов
  • Степень сжатия, задаваемая в настройках архиватора



  • Небольшой ликбез.
    LZMA - новый алгоритм компрессии (сжатия) данных, который используется для создания архивов в формате 7z. Особенности: высокий коэффициент сжатия, использование словарей различного размера, открытый исходный код. Автор: Игорь Павлов
    Bzip2 - утилита и алгоритм с открытым исходным кодом для сжатия данных. Следуя идеологии Unix, bzip2 выполняет только одну задачу - сжимает файл. Для архивации нескольких файлов или каталогов ее надо использовать вместе с утилитой TAR. Tar архивирует файлы в один, а bzip2 - сжимает. Поэтому и расширение у таких архивов - .tar.bz2
    Gzip - утилита и алгоритм для сжатия и декомпрессии данных. Так же как и bzip2, выполняет только одну задачу - сжимает или производит декомпрессию одного файла. Обладает высокой скоростью работы.
    Deflate - алгоритм сжатия данных.
    TAR - (tape archive, архив на магнитной ленте) - формат архива, утилита для работы с одноименными архивами. Tar не сжимает данные, он создает один файл из многих, который, обычно, затем архивируется с помощью алгоритма gzip или bzip2.
    RAR - Платный популярный формат сжатия данных и программа для работы с различными типами архивов. Автор - Евгений Рошал.
    Unrar - бесплатный распаковщик RAR архивов.
    ZIP - Стандартный, популярный формат сжатия данных.
    XZ - Формат сжатия данных, который использует алгоритм сжатия LZMA. Создан как замена lzma. XZ-utils - реализация формата XZ в Linux. Архиватор TAR, начиная с версии 1.22 позволяет создавать архивы в формате xz.
    7z - формат сжатия данных, использующий алгоритм сжатия LZMA.
    p7zip - реализация 7-Zip архиватора для Linux.
    7-Zip - файловый архиватор, который поддерживает множество алгоритмов сжатия. Автор - Игорь Павлов. Основной формат - 7z с использованием алгоритма LZMA.
    q7z - GUI к архиватору p7zip


    С какими опциями запускались архиваторы
    Создать RAR архив. Дефолтное сжатие. rar a -r archive.rar files
    Создать RAR архив. Быстрое сжатие rar a -r -m1 archive.rar files
    Создать RAR архив. Максимальное сжатие rar a -r -m5 archive.rar files
    Создать ZIP архив. Дефолтное сжатие zip -r archive.zip files
    Создать ZIP архив. Быстрое сжатие zip -r -1 archive.zip files
    Создать ZIP архив. Максимальное сжатие zip -r -9 archive.zip files
    Создать 7z архив. Дефолтное сжатие 7z a archive.7z files
    Создать 7z архив. Быстрое сжатие 7z a -mx=1 archive.7z files
    Создать 7z архив. Максимальное сжатие 7z a -mx=9 archive.7z files
    Создать bzip2 архив. Максимальное (дефолтное) сжатие tar cfj archive.tar.bz2 files
    Создать bzip2 архив. Среднее сжатие tar cf archive.tar files
    bzip2 -vc4 archive.tar > archive.tar.bz2
    Создать bzip2 архив. Быстрое сжатие tar cf archive.tar files
    bzip2 -vc1 archive.tar > archive.tar.bz2
    Создать gzip архив. Дефолтное сжатие tar cfz archive.tar.gz files
    Создать gzip архив. Максимальное сжатие tar cf archive.tar files
    gzip -vc9 archive.tar > archive.tar.gz
    Создать gzip архив. Быстрое сжатие tar cf archive.tar files
    gzip -vc1 archive.tar > archive.tar.gz
    Создать XZ архив. Дефолтное сжатие export XZ_OPT=""
    tar cfJ archive.tar.xz files
    Создать XZ архив. Быстрое сжатие export XZ_OPT="-1"
    tar cfJ archive.tar.xz files
    Создать XZ архив. Максимальное сжатие export XZ_OPT="-9 --extreme"
    tar cfJ archive.tar.xz files


    Доп. инфо
    Для замера времени использовалась утилита time:
    % /usr/bin/time -f "%U"
    
    Bzip2 по умолчанию архивирует в режиме максимального сжатия (9), поэтому дефолтное сжатие было принято за наилучшее, а в качестве среднего использовалось сжатие 4 (1 - быстрейшее, 9 - наилучшее).
    В некоторых тестах я решил использовать ZIP, RAR и 7z вкупе с архиватором TAR. Результаты увидите :)
    Результаты у 7z и XZ заметно отличаются. Хотя 7z и использует LZMA, как и XZ, я тестировал их как отдельные архиваторы.
    Для создания архивов XZ TAR 1.21 использует lzma, а TAR 1.22 - XZ.
    Чтобы TAR автоматически определял тип архива, используйте ключик a:
    % tar xaf archive.tar.bz2
    
    При создании архивов XZ в TAR, опции сжатия можно указать через переменную окружения XZ_OPT:
    % export XZ_OPT="-9 --extreme"
    


    Сжатие данных с потерей качества


    Тест №1. Сжатие медиа файлов.

    Для 1-го теста я собрал большую кучу из файлов, которые по сути уже сжаты. Это mp3, wav, jpg, png, pdf, avi. Все они сжимаются практически одинаково плохо :)
    В итоге у меня получился каталог, который набит всякой вкуснятиной:
  • Один музыкальный альбом в MP3 (60MB)
  • Один музыкальный файл WAV (60MB)
  • Два обычных видео файла (230MB)
  • Пять DJVU и PDF файлов (130MB)
  • Много (20) JPEG и PNG файлов (50MB)
  • Итого 537MB.

    Тестирование архиваторов Linux

    Сравнение архиваторов Linux

    Тест архиваторов
    На максимальном сжатии лучшие результаты у RAR - он сжал данные неожиданно лучше и быстрее других. Хотя 1029 секунд врятли захочется потратить ради экономии 40МБ. Gzip и ZIP сжали не так хорошо, зато в 10 раз быстрее чем RAR и XZ.
    На среднем сжатии RAR побеждает в номинации "медленно, но хорошо", а Gzip и ZIP - "не так хорошо, зато очень быстро". У Bzip2 такой середнячковый результат - вроде сжал довольно быстро, но лишь слегка лучше, чем Gzip.
    В быстром режиме размер архивов получился почти одинаковый, а вот время - не совсем. Здесь явно лидирует обычный ZIP, который сжал данные так же хорошо, как gzip и rar, но сделал это намного быстрее. В общем, вывод таков: если вы сжимаете медиа файлы, т.е. файлы, которые уже сжаты и у вас мало времени - используйте Gzip или Zip. Если у вас достаточно времени - Rar или 7z/xz.
    Bzip2, кстати, распаковывал свои архивы очень долго по сравнению с другими, а у RAR-a тут наверно лучший результат по отношению скорость/качество.


    Тест №2. Сжатие бинарных файлов

    Во 2-м тесте будут сжиматься бинарные файлы. Я просто скопировал самые увесистые из моего каталога /usr/bin/.
    Имеется: 100 бинарных файлов сумарным размером 167MB

    Тестирование алгоритмов сжатия. Бинарные файлы


    Сравнение алгоритмов сжатия данных. Бинарные файлы


    Тесты архиваторов Linux. Бинарные файлы


    На максимальном сжатии 7z показал себя намного лучше, чем XZ - сжал быстрее и лучше. Самым быстрым оказался Zip - быстрее, чем Gzip при одинаковых размерах архивов.
    В среднем режиме сжатия все так же, но использовать Bzip2 нет смысла - он лишь слегка лучше сжимает чем Gzip/ZIP, но заметно медленнее.
    В быстром режиме 7z снова оказался лучше XZ. (Почему? Они же оба используют LZMA!)
    Кстати, у 7z в быстром режиме получился архив 56МБ за 35сек, а у Bzip2 в максимальном (дефолтном) режиме сжатия архив вышел 64МБ за 65сек. Т.е. 7z обскакал Bzip2 по всем статьям :)


    Тест №3. Сжатие образа CD-диска

    Отдельно решил, зачем-то, сжать образ CD-диска. Его можно смело отнести к содержанию теста №1, но я решил вынести это отдельно, на всякий случай :)
    Имеется: 1 образ CD-диска размером 614МБ

    Компрессия данных в Linux. Сжатие образа CD-диска


    Скорость сжатия файлов. Образ CD-диска


    Тест консольных архиваторов Linux. Образ CD-диска


    В режиме наилучшего сжатия 7z сделал свою работу слегка хуже, но быстрее чем XZ, а вот RAR оказался самым медлительным. Насчет Bzip2 у меня уже сложилось впечатление - он вроде сжимает намного быстрее чем rar/7z/xz, но намного медленнее чем gzip/zip, при этом размер архива получается не намного лучше, чем у gzip/zip. Если я хочу сжать что-то хорошо и у меня есть на это время, скорее всего я выберу 7z. Если уж сжать файлы надо как можно быстрее, я выберу Gzip или ZIP. У Gzip, кстати, есть большой бонус перед ZIP - он сохраняет всю информацию о владельцах файлов и правах, чего не делает ZIP (как и 7z, кстати, но об этом позже).
    На средних настройках размер архивов (как и время) получился практически идентичным предыдущим.
    А вот в режиме быстрого сжатия RAR приятно удивил - сжал быстрее и лучше всех остальных. Bzip2 в быстром режиме сжал даже хуже, чем Gzip/ZIP. На распаковку архива Bzip2 потратил куда больше времени, чем все остальные архиваторы. А XZ распаковывал архив заметно быстрее чем 7z.


    Тест №4. Сжатие исходников ядра Linux

    Один из стандартных способов проверить качество алгоритма сжатия данных - исходники ядра.
    Имеется:
    Исходники linux-2.6.33. Это около 31 тысячи файлов суммарным объемом 432МБ.
    Так как файлов много, я использовал опцию solid (непрерывный архив) у RAR. 7z создает solid-архив по умолчанию. Так же было решено использовать tar+rar и tar+zip. Результаты, кстати, неожиданные :)

    Забег консольных архиваторов. Исходники ядра Linux


    Большой тест архиваторов. Сжатие исходников ядра


    Скорость распаковки архивов. Исходники ядра Linux


    Режим максимального сжатия: Хорошие результаты у RAR. Правда у варианта TAR+RAR архивы весят меньше, чем у RAR с опцией "solid" =)
    Среднее сжатие: Bzip2 внезапно выступил лучше RAR, сильно обогнав его по скорости и сжав почти так же хорошо.
    Режим быстрого сжатия: Тут Bzip2 снова сжал лучше чем RAR, правда у него (Bzip2) это получилось медленнее всех. Лучшие результаты на мой взгляд у 7z.
    Распаковка архивов: Архивы сжатые максимально, RAR распаковывал очень долго по сравнению с другими. 7z/XZ распаковали в 10 раз быстрее чем RAR, а Gzip - просто молниеносно.


    Тест №5. Несжатые документы

    Текстовые документы, такие как TXT, ODF, DOC. Предполагаю, что результаты будут аналоничны тесту №4 :)
    Имеется:
    В основном файлы DOC. На этом компьютере я документов не храню, поэтому их пришлось качать из сети, а ODF найти труднее. Также несколько увесистых TXT файлов-словарей, RTF и HTML файлы. В сумме 66МБ.

    Сжатие данных в Linux. Сжатие текстовых документов


    Тест архиваторов. Сжатие текстовых файлов


    Тестирование архиваторов. Текстовые файлы

    Режим наилучшего сжатия: Лучше всех получилось у RAR. Bzip2 как всегда где-то посередине.
    Режим среднего сжатия: Лучше всего сжали файлы 7z/XZ, но у них это заняло много времени. Bzip2 сжал намного быстрее и почти так же хорошо, как RAR
    Режим быстрейшего сжатия: Первый раз, когда Bzip2 сжал лучше (хотя не быстрее) чем 7z/XZ.
    Распаковка архивов: Архив, сжатый в максимальном режиме, RAR распаковывал очень долго. Вообще это уже не в первый раз. Ну и Bzip2 как всегда не самый быстрый по распаковке архивов.


    Тест №6. Огромное кол-во маленьких текстовых файлов - Gentoo Portage

    Имеется: 116 тысяч файлов общим объемом 600МБ.

    Тестирование архиваторов Linux. Gentoo Portage


    Сравнение архиваторов Linux. Gentoo Portage


    Тест алгоритмов сжатия данных. Gentoo Portage

    Режим максимальной компрессии: Самый маленький архив получился у 7z, да и по времени он справился в 2 раза быстрее чем XZ. У Bzip2 наверно лучший результат в плане скорость/сжатие
    Режим среднего сжатия: у Bzip2, на мой взгляд, результат лучше чем у RAR. Лучше всего сжал по-прежнему 7z.
    Быстрое сжатие: Лучший результат у XZ. 7z сжал на 6МБ лучше чем XZ, но и на 21сек медленнее. Распаковка архивов: я считаю, что лучше всех тут справился XZ. RAR как всегда медленно распаковывает архивы, сжатые максимально.


    Итак, подведем итоги. Кто же является лучшим архиватором на свете?
    Ответа на этот вопрос я не дам :Р Скажу одно - если вам важна скорость сжатия - используйте Gzip, если вам нужно максимально сжать файлы - используйте XZ или 7z. Лично я бы выбрал 7z, т.к. в основном он слегка быстрее архивирует чем XZ. Но, не забывайте, что такие архиваторы как RAR, ZIP и 7z не сохраняют полную информацию о владельцах файлов, правах и т.д. RAR-у можно указать соответствующие настройки при создании и распаковке архива, но легче просто создать TAR архив и его уже сжать. В мануале к 7z прямо сказано - для бэкапа системы сначала создайте архив TAR, а затем сожмите его в 7z.
    Весело было наблюдать, как связка TAR+RAR частенько работает лучше чем RAR в одиночку :) Вообще TAR создает один файл (архив) из многих ровно настолько быстро, насколько это позволяет ваш жесткий диск, при этом почти не напрягая процессор.

    Gzip или ZIP? Gzip! Результаты те же, но Gzip сохраняет всю дополнительную информацию о файлах.
    XZ или 7z? Если вам не нужно сохранять информацию о владельцах файлов, используйте 7z. Если нужно - создавайте XZ архивы через TAR.
    RAR?. Если честно, я ожидал от него худших результатов, но RAR показал себя в принципе неплохо. Разве что он платный ;)
    Bzip2?. Этот архиватор вызвал у меня двойственные чувства. С одной стороны он сжимает быстрее чем XZ/7z/RAR, но с другой - он лишь ненамного лучше сжимает чем Gzip/ZIP и делает это заметно медленнее последних. В одних тестах он показал себя хорошо, в других он сжимал медленнее и хуже, чем 7z на самых быстрых настройках. Именно из-за этой его непостоянности лично я откажусь от его использования в пользу 7z/XZ.

    Но в конечном счете решать Вам. Удачи!






    Возможно, эти материалы Вас заинтересуют:


    Рекомендовать эту страницу:

    Комментарии:(15)

    # Владимир Dec. 19, 2010, 8:41 p.m.
    Мне очень трудно воспринимать информацию в том виде, как она представлена на сайте.
    Очень удачный вариант представления данных по тестирванию архиваторов на сайте:
    http://compressionratings.com/
    см. Summary
    в виде графика с осями "объем архива" * "время"

    К слову, один из лучших протестированных там архиваторов - FreeArc - имеет версию под Linux.
    Сайт архиватора:
    http://freearc.org/ru/News.aspx

    # ruslja Jan. 7, 2011, 1:27 p.m.
    Очень хорошее и качественное, сравнение, как раз искал информацию типа:"какой архиватор лучше". Спасибо

    # Fast Jan. 26, 2011, 8:24 p.m.
    Респект! Достойная статья.

    # iam May 31, 2011, 11:33 p.m.
    a rezultaty ot gui zavisiat?

    # Brainsburn June 1, 2011, 5:54 p.m.
    Я не проверял, но от GUI это не должно зависеть.

    # Дима June 5, 2012, 2:06 p.m.
    Спасибо за обзор. очень полезно и доступно.

    # finval Jan. 25, 2013, 5:45 a.m.
    Читается нудно, но в целом статья хорошая, спасибо за хорошую работу

    # Dmitry Aug. 12, 2013, 2:03 p.m.
    Отличная статья! Огромное спасибо автору!!

    # Арман April 14, 2014, 11:40 a.m.
    Спасибо!
    Полезная статья.
    Я так понмиаю 7зип рулит! :)

    # ASA April 22, 2014, 4:26 p.m.
    Читается нудно, но в целом статья хорошая, спасибо

    # zander April 22, 2014, 4:27 p.m.
    Респект! Достойная статья.

    # Анатолий July 1, 2014, 9:05 p.m.
    Спасибо! Искал какой лучше архиватор и вот нате вам, на блюдечке! :)

    # Артем Nov. 17, 2014, 10:34 p.m.
    Респект, Отличное исследование! теперь я точно определился чем жать squashfs для своих поделок :) Еще раз спасибо, Brainsburn ;)

    # cheech April 13, 2017, 1:59 a.m.
    Спасибо, статья полезная )

    # fanyit May 4, 2017, 1:33 p.m.
    Спасибо за обзор. очень полезно и доступно.

    Комментировать:

    Гость, Вы можете оставить свой комментарий.

    Стиль кода:
    Имя
    Сайт * не обязательное поле
    Поставьте галку, если вы - бот
    Поставьте галку, если вы - человек

    Друзья! Убедительная просьба воздержаться от нецензурной лексики!



    Справка:
    Если вы хотите использовать в тексте комментария специальные символы, например, [ и ], используйте их внутри тега [code] [/code]
    Вы можете использовать теги BBcode. Для оформления кода и подсветки синтаксиса используйте тег [code] или [code=название_языка], например, [code=python]
    Ссылки вставляйте так: [url]zenux.ru[/url] или так: http://zenux.ru, но не так: zenux.ru
    Текст сообщения должен быть в пределах 3000 символов.




    Последние комментарии:

    Eugene: Галка, внешний вид изменить совершенно не сложно.... >>>
    Галка: А сильно сложно Убунту переделывать?... >>>
    Brainsburn_: “Написание в 1-й” подразумевает “в первой”, а не в... >>>
    ZZZ: “Написание в 1-й” подразумевает &ldquo... >>>
    SBOdin: Спасибо за полезное руководство... >>>