S3QL

S3QL unterstützt Amazon S3 sowie beliebige SFTP-Server und effektiv bietet Ihnen eine Festplatte von dynamischen, unendliche Kapazität, die von jedem Computer mit Internetzugang zugegriffen werden kann.
S3QL bietet einen Standard, voll ausgestattete UNIX-Dateisystem, die konzeptionell nicht von einem lokalen Dateisystem ist. Darüber hinaus hat S3QL zusätzliche Features wie Komprimierung, Verschlüsselung, Daten-Deduplizierung, unveränderliche Bäume und Snapshots, die sie besonders geeignet für die Online-Sicherung und Archivierung zu machen.
S3QL ist für Einfachheit und Eleganz über Performance und Feature-Kriechen begünstigen. Es wurde darauf geachtet den Quellcode so lesbar und gewartet werden wie möglich zu gestalten. Solide Fehlererkennung und Fehlerbehandlung haben von der ersten Zeile eingefügt, und S3QL verfügt über umfangreiche automatisierte Testfälle für alle seine Komponenten.
Bevor ein Dateisystem eingehängt werden kann, weist die Schnittstelle, auf die die Daten enthalten wird, die initialisiert werden. Dies wird mit dem mkfs.s3ql Befehl getan. Hier sind wir mit dem Amazon S3-Backend und nikratio-s3ql-Eimer ist der S3 Eimer, in dem das Dateisystem gespeichert werden.
mkfs.s3ql s3: // nikratio-s3ql-Eimer
Um die S3QL Dateisystem in der S3-Bucket nikratio_s3ql_bucket im Verzeichnis / mnt / s3ql gespeichert montieren, geben Sie ein:
mount.s3ql s3: // nikratio-s3ql-Eimer / mnt / s3ql
Jetzt können Sie Ihre Lieblings-Backup-Programm, um ein Backup in das Verzeichnis / mnt / s3ql laufen anweisen und die Daten gespeichert werden, eine Amazon S3. Wenn Sie fertig sind, hat das Dateisystem mit ausgehängt werden
umount.s3ql / mnt / s3ql

Eigenschaften :

• Transparenz. Konzeptionell ist S3QL nicht von einem lokalen Dateisystem. Zum Beispiel unterstützt sie Hardlinks, Symlinks, voller Unix-Berechtigungen, erweiterte Attribute und Dateigrößen bis zu 2 TB.
• dynamische Größe. Die Größe eines S3QL Dateisystem wächst und schrumpft nach Bedarf dynamisch.
• Compression. Vor der Lagerung können alle Daten mit dem LZMA, BZIP2 oder LZ-Algorithmus komprimiert.
• Verschlüsselung. Nach der Kompression (aber vor dem Hochladen) können alle Daten mit AES 256-Bit-Schlüssel verschlüsselt. Eine zusätzliche SHA256- HMAC-Prüfsumme verwendet, um die Daten vor Manipulation zu schützen.
• Datendeduplizierung. Wenn mehrere Dateien gleichen Inhalts, werden die redundanten Daten nur einmal gespeichert werden. Dies funktioniert über alle im Dateisystem gespeicherten Dateien, auch wenn nur Teile der Dateien identisch sind, während andere Teile unterschiedlich sein.
• Immutable Bäume. Verzeichnisstrukturen können unveränderlich gemacht werden, so daß deren Inhalt nicht mehr in irgendeiner Weise geändert werden. Dies kann verwendet werden, um sicherzustellen, dass Sicherungen können nicht verändert werden, nachdem sie gemacht wurden.
• Copy-on-Write / Snapshot-Erstellung. S3QL können ganze Verzeichnisbäume ohne zusätzlichen Speicherplatz zu replizieren. Nur wenn eine der Kopien geändert wird, der Teil der Daten, die modifiziert werden nehmen zusätzlichen Speicherplatz. Dies kann verwendet werden, um intelligente Schnappschüsse, die den Zustand eines Verzeichnisses zu unterschiedlichen Zeitpunkten unter Verwendung einer minimalen Menge an Speicherplatz zu erhalten erstellen.
• High Performance unabhängig von der Netzwerklatenz. Alle Operationen, die nicht schreiben oder lesen Dateiinhalte (wie das Erstellen von Verzeichnissen oder Verschieben, Umbenennen und Ändern von Berechtigungen von Dateien und Verzeichnissen) sind sehr schnell, weil sie aus ohne Netzwerk-Transaktionen durchgeführt werden.
• S3QL erreicht dies, indem Sie die gesamte Datei und Verzeichnis-Struktur in einer Datenbank. Diese Datenbank wird lokal zwischengespeichert und die Remote-Kopie asynchron aktualisiert.
• Unterstützung für Verbindungen mit geringer Bandbreite. S3QL teilt Inhalt der Datei in kleinere Blöcke und Caches Blöcke lokal. Dies minimiert sowohl die Anzahl der Netzwerk-Transaktionen zum Lesen und Schreiben von Daten erforderlich ist, und die Datenmenge, die übertragen werden, wenn nur Teile einer Datei gelesen oder geschrieben werden soll.

Was ist neu in dieser Pressemitteilung:

• Der Versuch, ein Dateisystem, das bereits auf die neueste Version aktualisieren nicht mehr machen die lokalen Metadaten kopieren unbrauchbar.
• Google Speicher Eimer Namen mit Punkten nicht mehr dazu, Probleme mit SSL-Zertifikatüberprüfung.
• Behebt ein Absturz beim statvfs () auf einem fast leeren Dateisystem genannt.
• Es ist eine neue & quot; swiftks & quot; Backend für Openstack / Swift-Server.
• Beseitigt eine Race Condition, die führen kann zu mount.s3ql Absturz mit einem & quot; KeyError in einer Sammlung / abc.py & quot;.
• Korrektur des Fehlers, wenn sie versuchen zu bereinigen nach Erhalt einer Verbindung oder Serverfehler beim Hochladen eines Objekts auftreten können.

Was ist neu in der Version 2.2:

• S3QL verwendet nun SSL-Verbindungen standardmäßig überprüft und Serverzertifikate.


• Eine Wettlaufsituation, die in einem offensichtlichen Verlust der Fern Metadaten führte, wurde behoben.
• Die S3-Backend mit einer Anfrage, wenn möglich, die Latenz verringert, Verkehr und Anzahl der Anfragen, S3 mehrere Speicherobjekte löscht jetzt.
• S3QL ist jetzt in der Lage, Server-Fehler und Umleitungen, bevor alle Daten zu erkennen an den Server übergeben.
• Eine neue "Rackspace" Backend, die Spezifikation des Objektspeicherbereich im Speicher URL ermöglicht wurde hinzugefügt.
• Das ermöglicht mount.s3ql --compress Option jetzt Spezifikation des Komprimierungsstufe.

Was ist neu in Version 1.15:

• Radfahren von Metadaten-Backups, wenn Sie den lokalen Backend jetzt dauert viel weniger Zeit.
• Es ist nicht mehr erforderlich, dass S3QL und Python APSW auf den freigegebenen gleichen SQLite-Bibliothek verknüpft werden.
• In mount.s3ql ein Absturz bei der Verwendung --metadata-Upload-Intervall 0, wurde behoben.
• Statt vollständig Aushängen des Dateisystems (und Verlassen der Mount-Punkt nicht zugänglich), wenn Backend-Daten fehlt oder beschädigt ist, S3QL nun einen Fehler und schaltet auf Nur-Lese-Operation gibt.

Was ist neu in Version 1.13:

• Diese Version einen Fehler, der fehlerhafte Metadaten geschrieben werden verursacht behebt aus, wenn Sie den letzten eglibc Versionen.
• Es behebt Probleme beim Versuch, ein Verzeichnis im Stammverzeichnis des Dateisystems, die vor kurzem mit s3qlrm wurde entfernt zugreifen können.
• scheinbare ACL-Unterstützung wurde entfernt.
• Diese Version besser Griffen Eimer mit ungültigen DNS-Namen.
• Es wird wiederholt, wenn DNS nicht verfügbar ist.

Was ist neu in der Version 1.11.1:

• Diese Version behebt einen Absturz bei der Verwendung des S3-Backend (Regression in Version 1.11 eingeführt wurde), erhöht sich die Mindest berichtet Dateisystemgröße zu 1 TB und arbeitet rund um einen Bug df so Größe ordnungsgemäß gemeldet.

Was ist neu in Version 1.11:

• Metadaten über die gespeicherten Objekte wird nun in mehrere Felder aufgeteilt, so kein Feld länger ist als 256 Bytes. (Dies macht S3QL kompatibel mit einer breiteren Palette von Storage-Anbieter.) Die SWIFT-Backend nun wiederholt, wenn es erhält 5xx Fehlercodes vom Remote-Server und nicht mehr fehl, wenn Sie versuchen, Daten mit einem abgelaufenen Auth Token hochladen.

Was ist neu in Version 1.10:

• Die S3S, s3cs und gss Backends wurden entfernt. Verwenden Sie die neue --ssl Option zusammen mit den s3, S3C und gs Backends statt.
• S3QL nicht mehr verfolgt, Konsistenz gewährleistet für die verschiedenen Backends.
• Die zunehmende Zahl von verschiedenen Storage-Anbieter mit den verschiedenen Regionen, Redundanz und Verfügbarkeit Ebenen macht es nicht mehr möglich ist.
• Das Benutzerhandbuch enthält einen neuen Abschnitt, & quot; wichtige Regeln nicht zu verlieren Daten & quot;.
• Lesen wird dringend empfohlen.

Was ist neu in Version 1.9:

• Diese Version macht Datei mal nicht mehr zu ändern, wenn eine Änderung des Systems Zeitzone, Fehlerbehebungen und verbessert contrib / benchmark.p, behebt die & quot; zu viele Umleitungen angekettet & quot; bug, wiederholt auf 5xx Server-Fehler, und fügt experimentellen native Unterstützung für Openstack / SWIFT-Server und Proxy-Unterstützung experimentell.

Was ist neu in der Version 1.8:

• Ein & quot; Valueerror: Kann nicht NULL-Werte & quot Dump; Absturz bei der Metadaten des Dateisystems wurde bei starkem Dateisystemaktivität wurde behoben hochgeladen.
• s3qlcp und Verzeichnisliste Performance bei sehr großen Verzeichnissen verbessert.
• Ein rm Leistung Regression wurde korrigiert.
• -. Blockgröße wurde umbenannt, um --max-obj-size


• Einige Abstürze, die unter stark gleichzeitigen Dateisystemnutzung passiert wurden behoben.
• python-llfuse 0.37 wird nun verwendet.

Grenzen :

• Es gibt immer noch viele Fehler im Code, und Sie sollten bereit sein, zu beschäftigen das m. Dennoch können Sie ziemlich sicher, dass die Bugs (obwohl unbequem) werden Ihre gespeicherten Daten nicht gefährdet sein.