Gehen Sie zur Bibliothek für parallele Komprimierung und Dekomprimierung
Golang-API zum programmgesteuerten Generieren und Lesen von Standard-GZIP-Dateien. Komprimieren Sie große Dateien, indem Sie sie in Blöcke aufteilen, und führen Sie die Komprimierung/Dekomprimierung parallel durch.
pgzip ist eine Open-Source-Bibliothek, die vollständige Funktionalität für die parallele Komprimierung und Dekomprimierung mit der Go-Sprache bietet. Die Bibliothek ist sehr nützlich zum Komprimieren einer großen Datenmenge, da sie in Blöcke unterteilt ist und parallel komprimiert/dekomprimiert wird. Die pgzip-Bibliothek ist in der Entwickler-Community unglaublich beliebt und ermöglicht es Go-Apps, komprimierte Dateien mit nur wenigen Befehlen direkt zu lesen.
Die Bibliothek ist sehr stabil und ermöglicht es Entwicklern, Standard-GZIP-Dateien programmgesteuert zu generieren und zu lesen. Um das Beste aus der Bibliothek herauszuholen, wird empfohlen, eine große Datenmenge (mehr als 2 MB auf einmal) zu komprimieren oder zu dekomprimieren. Die Bibliothek hat Unterstützung für mehrere wichtige Funktionen wie Komprimieren von Dateien, Dekomprimieren von Dateien, Öffnen und Lesen von GZIP-Dateien und vieles mehr.
Erste Schritte mit pgzip
Die empfohlene Methode zur Installation von pgzip ist von GitHub, bitte verwenden Sie den folgenden Befehl für eine reibungslose Installation.
Installieren Sie pgzip über den Befehl
go get github.com/klauspost/pgzip/...Komprimieren Sie große Dateien über die Go-API
Die Open-Source-pgzip-Bibliothek enthält Funktionen zum Komprimieren großer Datenmengen mit ein paar Zeilen Go-Code. Die API unterstützt die Aufteilung der großen Datei in kleine Teile (standardmäßig beträgt die Blockgröße 1 MB) und kann bis zur Anzahl der CPU-Threads verarbeitet werden. Sie können die Größe der Blöcke einfach steuern und an Ihre Bedürfnisse anpassen und wie viele Sie parallel verarbeiten möchten. Für eine bessere Leistung wird empfohlen, dass Benutzer mindestens mehr als 1 Megabyte Daten gleichzeitig komprimieren.
Dekomprimieren von Dateien über die Go-API
Die kostenlose pgzip-Bibliothek ermöglicht es Softwareentwicklern, ihre Dateien in ihren eigenen Go-Anwendungen zu dekomprimieren. Ebenso wie die Komprimierung kann auch die Dekomprimierung durch Anpassen der Blockgröße durchgeführt werden. Sie können ganz einfach Ihr eigenes Lesegerät erwerben und Ihr eigenes Lesegerät im Voraus angeben. Für Ihr Lesegerät müssen Sie die Blockgröße und die maximale Anzahl von Blöcken, die dekodiert werden sollen, im Voraus definieren.
Leistungsverbesserung
Die Leistung von pgzip kann im Vergleich zu gzip verbessert werden, wenn Sie große Datenmengen haben. Da pgzip Blöcke parallel verarbeitet, hat es offensichtlich einen Geschwindigkeitsvorteil gegenüber den anderen Kompressoren. Die Verwendung für hohen Durchsatz kann auch hochkomprimiertes Material wie Protokolle, JSON- und CSV-Daten nützlich sein. Ein großer Vorteil von pgzip während der Dekomprimierung besteht darin, dass Sie während der Dekomprimierung andere Arbeiten erledigen können.
