Gzip (GNU Zip)

Gzip (GNU Zip) — это программное обеспечение и формат сжатия, разработанный в рамках проекта GNU в начале 1990-х годов Жаном-Лу Гейли (Jean-Loup Gailly) и Марком Адлером (Mark Adler). Он был создан как свободная альтернатива проприетарному формату compress, используемому в Unix-системах. Gzip предназначен для сжатия отдельных файлов, и его расширение обычно .gz.

 

Основные характеристики

• Алгоритм: DEFLATE (комбинация LZ77 и кодирования Хаффмана).
• Тип сжатия: Без потерь (lossless), то есть данные полностью восстанавливаются при распаковке.
• Ограничение: Сжимает только один файл за раз. Для архивации нескольких файлов обычно используется в связке с tar (например, .tar.gz).
• Применение: Веб-серверы (сжатие HTTP-ответов), архивация файлов, передача данных.

 

Как работает gzip?

Gzip использует алгоритм DEFLATE, который состоит из двух основных этапов:

1. Алгоритм LZ77

LZ77 (разработан Абрахамом Лемпелем и Якобом Зивом в 1977 году) ищет повторяющиеся последовательности данных в файле. Вместо того чтобы повторять одинаковые фрагменты, LZ77 заменяет их ссылками на первое вхождение. Эти ссылки состоят из:

• Длина совпадения (length): сколько байтов совпадает.
• Расстояние (distance): сколько байтов назад находится совпадение.
• Литерал: если совпадение не найдено, записывается исходный байт.

Пример:

• Исходный текст: ABABABA.
• LZ77 может заменить повторяющиеся ABA ссылкой: «вернись на 3 байта назад, возьми 3 байта».

2. Кодирование Хаффмана

После LZ77 данные дополнительно сжимаются с помощью кодирования Хаффмана. Этот метод присваивает более короткие коды часто встречающимся символам и более длинные — редким. Это уменьшает общий размер данных.

Пример:

• Символ A встречается 10 раз, B — 5 раз, C — 2 раза.
• Хаффман может закодировать A как 0, B как 10, C как 110.

3. Этапы работы gzip

1. Считывание данных: Gzip читает входной файл.
2. Сжатие с помощью LZ77: Ищет повторяющиеся последовательности и заменяет их ссылками.
3. Кодирование Хаффмана: Сжимает результат, используя переменную длину кодов.
4. Формирование файла: Добавляет заголовок, сжатые данные и контрольную сумму (CRC-32) для проверки целостности.
5. Запись результата: Создаёт файл с расширением .gz.

 

Формат файла gzip

Файл gzip имеет чётко определённую структуру, которая включает следующие компоненты:

1. Заголовок (Header, 10+ байт)

• ID1, ID2 (2 байта): Магическое число для идентификации формата (1f 8b).
• Метод сжатия (1 байт): Обычно 08 (DEFLATE).
• Флаги (1 байт): Указывают на наличие дополнительных данных (например, имени файла, комментариев).
• Время модификации (4 байта): Время последней модификации файла (в формате Unix timestamp).
• Дополнительные флаги (1 байт): Информация о сжатии (например, уровень оптимизации).
• Операционная система (1 байт): Код ОС, где файл был создан.
• Дополнительные поля (опционально): Например, оригинальное имя файла или комментарий.

2. Сжатые данные

• Основной блок, содержащий данные, сжатые алгоритмом DEFLATE.

3. Трейлер (Trailer, 8 байт)

• CRC-32 (4 байта): Контрольная сумма для проверки целостности распакованных данных.
• Размер исходных данных (4 байта): Размер несжатого файла (модуль 2³²).

 

Применение gzip

Gzip используется в самых разных областях благодаря своей эффективности и простоте.

1. Веб-разработка

• Сжатие HTTP-ответов: Веб-серверы (например, Apache, Nginx) используют gzip для сжатия HTML, CSS, JavaScript и других ресурсов перед отправкой клиенту. Это уменьшает время загрузки страницы.
• Заголовок Content-Encoding: Сервер добавляет Content-Encoding: gzip в HTTP-ответ, чтобы браузер знал, что данные сжаты.
• Пример: Файл JavaScript размером 100 КБ может быть сжат до 20 КБ.

2. Архивация файлов

• Gzip часто используется для сжатия отдельных файлов. Для архивации нескольких файлов его комбинируют с tar, создавая .tar.gz (или .tgz).
• Пример команды: tar -czf archive.tar.gz directory/.

3. Сжатие логов

• В серверных системах gzip применяется для сжатия логов, чтобы сэкономить место на диске.

4. Другие области

• Передача данных: Используется в протоколах, таких как SSH, для сжатия трафика.
• Хранилища данных: Сжатие резервных копий или баз данных.

 

Преимущества gzip

• Высокая степень сжатия: Особенно эффективен для текстовых данных (HTML, CSS, JSON), где степень сжатия может достигать 70–90%.
• Быстрота: DEFLATE обеспечивает хороший баланс между скоростью сжатия и степенью компрессии.
• Широкая поддержка: Gzip встроен в большинство веб-серверов, браузеров и операционных систем.
• Проверка целостности: CRC-32 гарантирует, что распакованные данные не повреждены.
• Свободное ПО: Gzip распространяется под лицензией GNU, что делает его бесплатным и открытым.

 

Недостатки gzip

• Ограничение на один файл: Gzip не поддерживает архивацию нескольких файлов без использования tar.
• Неэффективность для уже сжатых данных: Файлы, такие как изображения (JPEG, PNG) или видео, почти не сжимаются, так как уже содержат встроенное сжатие.
• Зависимость от памяти: Для больших файлов требуется значительный объём оперативной памяти.
• Устаревание: Более новые алгоритмы (например, Brotli, Zstandard) могут обеспечивать лучшую степень сжатия или скорость.

 

Gzip в сравнении с другими алгоритмами

• Brotli: Часто превосходит gzip в степени сжатия (на 15–25% лучше для веб-контента), но требует больше времени на сжатие.
• Zstandard: Быстрее и иногда эффективнее gzip, особенно для больших данных.
• ZIP: Использует DEFLATE, но добавляет поддержку архивации нескольких файлов.