병렬 압축 및 압축 해제를 위한 Go Library
표준 GZIP 파일을 프로그래밍 방식으로 생성하고 읽기 위한 Golang API 대용량 파일을 블록으로 분할하여 압축하고 압축/압축 해제를 병렬로 수행합니다.
pgzip은 Go 언어를 사용하여 병렬 압축 및 압축 해제를 위한 완전한 기능을 제공하는 오픈 소스 라이브러리입니다. 라이브러리는 블록으로 나누어 압축/해제를 병렬로 수행하므로 대용량 데이터를 압축하는 데 매우 유용합니다. pgzip 라이브러리는 개발자 커뮤니티에서 매우 인기가 있으며 Go 앱에서 몇 가지 명령만으로 압축 파일을 직접 읽을 수 있습니다.
라이브러리는 매우 안정적이며 개발자가 프로그래밍 방식으로 표준 GZIP 파일을 생성하고 읽을 수 있도록 합니다. 라이브러리를 최대한 활용하려면 많은 양의 데이터(한 번에 2MB 이상)를 압축하거나 압축 해제하는 것이 좋습니다. 라이브러리에는 파일 압축, 파일 압축 해제, GZIP 파일 열기 및 읽기 등과 같은 몇 가지 중요한 기능에 대한 지원이 포함되어 있습니다.
pgzip 시작하기
pgzip을 설치하는 권장 방법은 GitHub에서 제공되며 원활한 설치를 위해 다음 명령을 사용하십시오.
명령을 통해 pgzip 설치
go get github.com/klauspost/pgzip/...Go API를 통해 대용량 파일 압축
오픈 소스 pgzip 라이브러리에는 몇 줄의 Go 코드를 사용하여 대량의 데이터 파일을 압축하는 기능이 포함되어 있습니다. API는 큰 파일을 작은 부분(기본적으로 블록 크기는 1MB)으로 분할하는 것을 지원하며 CPU 스레드 수까지 처리할 수 있습니다. 블록의 크기를 쉽게 제어할 수 있을 뿐만 아니라 필요와 병렬로 처리하려는 블록 수에 따라 사용자 정의할 수 있습니다. 더 나은 성능 향상을 위해 사용자는 한 번에 1MB 이상의 데이터를 압축하는 것이 좋습니다.
Go API를 통한 파일 압축 풀기
무료 pgzip 라이브러리를 사용하면 소프트웨어 개발자가 자신의 Go 애플리케이션 내에서 파일 압축을 풀 수 있습니다. 압축과 마찬가지로 블록 크기를 사용자 지정하여 압축 해제를 수행할 수도 있습니다. 자신의 독자를 쉽게 확보하고 자신의 읽기를 미리 지정할 수 있습니다. 독자의 경우 미리 디코딩할 블록 크기와 최대 블록 수를 정의해야 합니다.
성능 향상
많은 양의 데이터가 있을 때 gzip에 비해 pgzip의 성능이 향상될 수 있습니다. pgzip은 블록을 병렬로 처리하기 때문에 분명히 다른 압축기보다 속도 이점이 있습니다. 로그, JSON 및 CSV 데이터와 같은 높은 처리량, 높은 압축 자료에 사용하는 것도 유용할 수 있습니다. 압축 해제 중 pgzip의 한 가지 큰 장점은 압축 해제가 진행되는 동안 다른 작업을 수행할 수 있다는 것입니다.
