समानांतर संपीड़न और विसंपीड़न के लिए लाइब्रेरी पर जाएं
प्रोग्रामेटिक रूप से जनरेट करने के साथ-साथ मानक GZIP फ़ाइलों को पढ़ने के लिए गोलंग एपीआई। बड़ी फ़ाइलों को ब्लॉक में विभाजित करके संपीड़ित करें और समानांतर में संपीड़न/विसंपीड़न करें।
pgzip एक ओपन सोर्स लाइब्रेरी है जो गो भाषा का उपयोग करके समानांतर संपीड़न और डीकंप्रेसन के लिए पूर्ण कार्यक्षमता प्रदान करती है। पुस्तकालय बड़ी मात्रा में डेटा को संपीड़ित करने के लिए बहुत उपयोगी है क्योंकि इसे ब्लॉकों में विभाजित किया गया है और समानांतर में संपीड़न/विघटन किया गया है। pgzip लाइब्रेरी डेवलपर समुदाय के बीच अविश्वसनीय रूप से लोकप्रिय है और गो ऐप्स को केवल कुछ कमांड के साथ संपीड़ित फ़ाइलों को सीधे पढ़ने की अनुमति देता है।
पुस्तकालय बहुत स्थिर है और डेवलपर्स को प्रोग्रामेटिक रूप से उत्पन्न करने के साथ-साथ मानक जीजेआईपी फाइलों को पढ़ने की अनुमति देता है। पुस्तकालय से सर्वश्रेष्ठ प्राप्त करने के लिए बड़ी मात्रा में डेटा (एक समय में 2 एमबी से अधिक) को संपीड़ित या डीकंप्रेस करने की अनुशंसा की जाती है। पुस्तकालय में कई महत्वपूर्ण विशेषताओं के लिए समर्थन शामिल है जैसे कि संपीड़ित फ़ाइलें, डीकंप्रेस फ़ाइलें, GZIP फ़ाइलें खोलना और पढ़ना, और बहुत कुछ।
pgzip के साथ शुरुआत करना
Pgzip को स्थापित करने का अनुशंसित तरीका GitHub से है, कृपया सुचारू स्थापना के लिए निम्न कमांड का उपयोग करें।
आदेश के माध्यम से pgzip स्थापित करें
go get github.com/klauspost/pgzip/...गो एपीआई के माध्यम से बड़ी फ़ाइलों को संपीड़ित करें
ओपन सोर्स pgzip लाइब्रेरी में गो कोड की कुछ पंक्तियों का उपयोग करके बड़ी मात्रा में डेटा फ़ाइलों को संपीड़ित करने की कार्यक्षमता शामिल है। एपीआई बड़ी फ़ाइल को छोटे भागों में विभाजित करने का समर्थन करता है (डिफ़ॉल्ट रूप से ब्लॉक आकार 1 एमबी है) और सीपीयू थ्रेड्स की संख्या तक संसाधित किया जा सकता है। आप आसानी से ब्लॉक के आकार को नियंत्रित कर सकते हैं और साथ ही इसे अपनी आवश्यकताओं के अनुसार अनुकूलित कर सकते हैं और आप कितने समानांतर में संसाधित करना चाहते हैं। बेहतर प्रदर्शन लाभ के लिए, यह सलाह दी जाती है कि उपयोगकर्ता एक बार में कम से कम 1 मेगाबाइट से अधिक डेटा को संपीड़ित करें।
गो एपीआई के माध्यम से फ़ाइलों को डीकंप्रेस करना
मुफ्त pgzip पुस्तकालय सॉफ्टवेयर डेवलपर्स को अपने स्वयं के गो एप्लिकेशन के अंदर अपनी फाइलों को डीकंप्रेस करने में सक्षम बनाता है। संपीड़न के समान, ब्लॉक आकार को अनुकूलित करके डीकंप्रेसन भी किया जा सकता है। आप आसानी से अपना स्वयं का पाठक प्राप्त कर सकते हैं और आगे अपना स्वयं का पठन निर्दिष्ट कर सकते हैं। अपने पाठक के लिए, आपको ब्लॉक आकार और आगे डिकोड किए जाने वाले ब्लॉक की अधिकतम संख्या को परिभाषित करने की आवश्यकता है।
प्रदर्शन में सुधार
जब आपके पास बड़ी मात्रा में डेटा होता है तो gzip की तुलना में pgzip के प्रदर्शन में सुधार किया जा सकता है। चूंकि pgzip समानांतर में ब्लॉक की प्रक्रिया करता है, यह स्पष्ट रूप से अन्य कम्प्रेसर पर एक गति लाभ है। उच्च थ्रूपुट के लिए उपयोग, उच्च संपीड़न सामग्री, जैसे लॉग, JSON और CSV डेटा भी उपयोगी हो सकते हैं। डीकंप्रेसन के दौरान pgzip का एक बड़ा फायदा यह है कि यह आपको अन्य काम करने की अनुमति देता है जबकि डीकंप्रेसन हो रहा है।
