Przejdź do biblioteki dla kompresji i dekompresji równoległej
Interfejs Golang API do automatycznego generowania i odczytywania standardowych plików GZIP. Kompresuj duże pliki, dzieląc je na bloki i równolegle przeprowadzając kompresję/dekompresję.
pgzip to biblioteka typu open source, która zapewnia pełną funkcjonalność kompresji i dekompresji równoległej przy użyciu języka Go. Biblioteka jest bardzo przydatna do kompresji dużej ilości danych, ponieważ jest dzielona na bloki i równolegle przeprowadzana kompresja/dekompresja. Biblioteka pgzip jest niezwykle popularna wśród społeczności programistów i umożliwia aplikacjom Go bezpośrednie odczytywanie skompresowanych plików za pomocą zaledwie kilku poleceń.
Biblioteka jest bardzo stabilna i pozwala programistom na programowe generowanie oraz odczytywanie standardowych plików GZIP. Aby jak najlepiej wykorzystać bibliotekę, zaleca się kompresowanie lub dekompresowanie dużej ilości danych (więcej niż 2MB na raz). Biblioteka zawiera obsługę kilku ważnych funkcji, takich jak kompresowanie plików, dekompresowanie plików, otwieranie i odczytywanie plików GZIP i wiele innych.
Pierwsze kroki z pgzip
Zalecany sposób instalacji pgzip to GitHub, użyj następującego polecenia, aby uzyskać płynną instalację.
Zainstaluj pgzip za pomocą polecenia
go get github.com/klauspost/pgzip/...Kompresuj duże pliki za pomocą Go API
Biblioteka pgzip o otwartym kodzie źródłowym zawiera funkcję kompresji dużych ilości plików danych za pomocą kilku wierszy kodu Go. Interfejs API obsługuje dzielenie dużego pliku na małe części (domyślnie rozmiar bloku wynosi 1 MB) i może być przetwarzany do liczby wątków procesora. Możesz łatwo kontrolować rozmiar bloków, a także dostosować go do swoich potrzeb i liczby, które chcesz przetwarzać równolegle. Aby uzyskać lepszy wzrost wydajności, zaleca się, aby użytkownicy kompresowali co najmniej więcej niż 1 megabajt danych na raz.
Dekompresowanie plików przez Go API
Bezpłatna biblioteka pgzip umożliwia programistom dekompresowanie plików we własnych aplikacjach Go. Podobnie jak kompresja, dekompresję można również przeprowadzić, dostosowując rozmiar bloku. Możesz łatwo uzyskać własny czytnik i określić własny odczyt z wyprzedzeniem. Dla twojego czytnika musisz zdefiniować rozmiar bloku i maksymalną liczbę bloków, które zostaną zdekodowane z wyprzedzeniem.
Poprawa wydajności
Wydajność pgzip można poprawić w porównaniu z gzip, gdy masz duże ilości danych. Ponieważ pgzip przetwarza bloki równolegle, oczywiście ma przewagę szybkości nad innymi kompresorami. Przydatne może być również użycie w przypadku materiałów o wysokiej przepustowości i wysokiej kompresji, takich jak logi, dane JSON i CSV. Jedną z wielkich zalet pgzip podczas dekompresji jest możliwość wykonywania innych prac podczas dekompresji.
