Бібліотека Go для паралельного стиснення та декомпресії
API Golang для програмного створення та читання стандартних файлів GZIP. Стискайте великі файли, розділяючи їх на блоки, і паралельно виконуйте стиснення/декомпресію.
pgzip — це бібліотека з відкритим вихідним кодом, яка забезпечує повну функціональність для паралельного стиснення та розпакування за допомогою мови Go. Бібліотека дуже корисна для стиснення великої кількості даних, оскільки вона розділена на блоки та виконує стиснення/декомпресію паралельно. Бібліотека pgzip неймовірно популярна серед спільноти розробників і дозволяє програмам Go безпосередньо читати стиснені файли за допомогою лише кількох команд.
Бібліотека є дуже стабільною та дозволяє розробникам програмно генерувати та читати стандартні файли GZIP. Щоб максимально використати бібліотеку, рекомендується стискати або розпаковувати великий обсяг даних (понад 2 МБ за раз). Бібліотека включає підтримку кількох важливих функцій, таких як стискання файлів, розпаковування файлів, відкриття та читання файлів GZIP і багато іншого.
Початок роботи з pgzip
Рекомендований спосіб інсталяції pgzip — з GitHub, скористайтеся наступною командою для плавної інсталяції.
Встановіть pgzip за допомогою команди
go get github.com/klauspost/pgzip/...Стискайте великі файли через Go API
Бібліотека pgzip з відкритим вихідним кодом містить функції для стиснення великих обсягів файлів даних за допомогою кількох рядків коду Go. API підтримує розбиття великого файлу на маленькі частини (за замовчуванням розмір блоку становить 1 МБ) і може оброблятися до кількості потоків ЦП. Ви можете легко контролювати розмір блоків, а також налаштовувати його відповідно до своїх потреб і кількості, яку ви хочете обробляти паралельно. Для підвищення продуктивності користувачам рекомендується принаймні стискати більше 1 мегабайта даних за раз.
Розпакування файлів через Go API
Безкоштовна бібліотека pgzip дозволяє розробникам програмного забезпечення розпаковувати свої файли у власних програмах Go. Як і стиснення, декомпресію також можна виконати, налаштувавши розмір блоку. Ви можете легко отримати свій власний читач і вказати власне читання заздалегідь. Для вашого зчитувача вам потрібно визначити розмір блоку та максимальну кількість блоків, які будуть декодовані наперед.
Покращення продуктивності
Продуктивність pgzip можна покращити порівняно з gzip, якщо у вас є великі обсяги даних. Оскільки pgzip обробляє блоки паралельно, він, очевидно, має перевагу у швидкості над іншими компресорами. Також може бути корисним використання для високої пропускної здатності матеріалу з високим ступенем стиснення, наприклад журналів, даних JSON і CSV. Одна велика перевага pgzip під час декомпресії полягає в тому, що він дозволяє виконувати іншу роботу під час декомпресії.
