Pcompress

Pcompress ist ein Open Source-Befehlszeile parallel Komprimierung, Dekomprimierung und Deduplizierung Dienstprogramm, durch die Spaltung von Eingangsdaten in Stücke.
Pcompress verfügt Delta Kompression, feste Block Möglichkeit, Metadaten-Komprimierung, Unterstützung für mehrere Algorithmen, einschließlich LZMA, LZMA-Multithreaded, PPMD, Bzip2 oder LZ4, starke Datenintegrität, Filter, Matrix umzuwandeln, Verschlüsselung, Nachrichtenauthentifizierung, Metadaten, überlappt Verarbeitung, benutzerdefinierte Allocator, feste Modus Polsterung und vieles mehr

Was ist neu in dieser Pressemitteilung:.

• Dies ist ein Major Release mit Unterstützung der Archivierung auf Basis von Libarchive. Erweiterte Techniken verwendet, um Dateitypen zu erkennen und geeignete Algorithmen besser zu komprimieren. Filter wie PackJPG für Jpegs und Dispack für ausführbare Dateien werden verwendet, um Kompressibilität verbessern. Einige Heuristiken helfen zu erkennen bereits komprimierten Daten und vermeiden kostspielige Druckstufen. Archiv Einträge werden auch sortiert bezogene Inhalte gruppieren und eine bessere Kompression. Daten Split Grenzen für mehrere parallele Threads werden von Dateityp und Roll Hash Veränderungen bestimmt. Mmap und Null-Copy-Techniken werden intern verwendet, wenn möglich, um die Leistung zu verbessern. Einige Optimierungen wurden auch durchgeführt, um die Speichernutzung zu reduzieren. Verbrauch hat mit den meisten Funktionen automatisch konfiguriert, basierend auf Komprimierungsstufe vereinfacht.
• Mit diesen Änderungen Pcompress kann als vollwertiges Archivierungs wie Teer oder cpio zu handeln, und eine bessere Kompressionsraten und eine bessere Leistung als die Single-File-Kompressionsmodus. Pcompress sehr günstig im Vergleich mit anderen führenden Archivierungsdienstprogrammen.

Was ist neu in der Version 2.4:

• Diese Version behebt einige Probleme, darunter auch einige Ecke Fall stürzt ab und einige Pufferüberläufe.
• Datendeduplizierung kann nun mit Blöcke so klein wie 2 KB, die eine viel höhere Deduplizierungsrate wie kaum ein anderes Deduplizierung Software erfolgen.
• Ähnlichkeit basierte Deduplizierung Performance wurde verbessert.
• Freier Speicher Erkennungsgenauigkeit wurde ebenfalls verbessert.

Was ist neu in der Version 2.3:

• Diese Version behebt einige Fehler und bietet eine Reihe von Verbesserungen in der Effizienz und Leistung.
• Die Ähnlichkeit Erkennung Wirksamkeit für Ähnlichkeit basiert nahezu exakte Deduplizierung wurde verbessert.
• Zur gleichen Zeit, den Speicherbedarf für den Index wurde verringert.
• Die Genauigkeit der Datenpartitionierung zwischen Threads wurde verbessert.
• Chunking und Indizierungsleistung wurden verbessert und die KMV Sketch Berechnung ist jetzt genauer.
• Diese Version verschiebt alle die Kernfunktionen in eine gemeinsam genutzte Bibliothek in der Vorbereitung für eine API-Schnittstelle, die in zukünftigen Versionen eingeführt werden.

Was ist neu in der Version 2.2:.

• Das ist in erster Linie ein Bugfix-Release
• Es behebt einige Abstürze mit ungültigen Ein- und Problemen aufbauen Debian6 und älter nicht SSE4-Prozessoren.
• Die Min-Heap-basierter Ähnlichkeit Anpassung für Delta-Codierung wurde verbessert und schneller und genauer.
• Die Genauigkeit der skalierbaren Segmented Global Deduplication wurde weiter verbessert größer als 95% sein.
• Mehr Testfälle wurden hinzugefügt.

Was ist neu in der Version 2.1:.

• Diese Version bringt viele Bugfixes und Performance-Verbesserungen
• Die Genauigkeit bei der Suche nach Duplikaten in globale Deduplizierung wurde verbessert.
• SHA256 ist nun der Standard-Block-Hash-Algorithmus zur Deduplizierung, mit der Fähigkeit, sie getrennt von dem Stück Überprüfung Hash ändern.
• Insgesamt viele Leistungsverbesserungen vorgenommen wurden, mit besseren Parallelität, mehr SSE Vektorisierung und schnellere Sortier- und Verbesserung des Segment Hash-Liste Dateihandling, was zu kleineren E / A und weniger zufällige Zugriffe.
• Fehler bei der Berechnung der In-Memory-Indexgröße wurde behoben, um zu vermeiden Überlaufen freien RAM und die Festplatte austauschen.