MooseFS

MooseFS ist eine fehlertolerante, verteilte Netzwerkdateisystem, das Daten über mehrere physische Server, die für den Benutzer sichtbar, wie eine Ressource & nbsp sind verbreitet; Für Standard-Dateioperationen MooseFS wirkt wie andere Unix-ähnliche Dateisysteme.:
& Nbsp; * Eine hierarchische Struktur (Verzeichnisbaum)
& Nbsp; * Speichert POSIX-Dateiattribute (Zugriffsrechte, des letzten Zugriffs und Änderungszeit)
& Nbsp; * Unterstützt spezielle Dateien (Block- und Zeichengeräte, Rohrleitungen und Steckdosen)
& Nbsp; * Symbolische Links (Dateinamen, die auf Dateien, die nicht unbedingt auf MooseFS Ziel) und Hardlinks (verschiedene Namen von Dateien, die auf dieselben Daten auf MooseFS beziehen)
& Nbsp; * Zugang zum Dateisystem begrenzt basieren auf IP-Adresse und / oder Passwort
Besondere Merkmale des MooseFS sind:
& Nbsp; * Hohe Zuverlässigkeit (mehrere Kopien der Daten können in verschiedenen Rechnern gespeichert werden)
& Nbsp; * Kapazität ist durch das Anbringen neuer Computer / Festplatten dynamisch erweiterbar
& Nbsp; * Gelöschte Dateien werden für einen konfigurierbaren Zeitraum (eine Dateisystemebene "Papierkorb") beibehalten
& Nbsp; * Coherent Schnappschüsse von Dateien, auch während die Datei geschrieben / abgerufen
MooseFS besteht aus vier Komponenten:
& Nbsp; * Managing Server (Master-Server) & ndash; eine einzige Maschine die Verwaltung das gesamte Dateisystem Speichern von Metadaten für alle Dateien (Informationen über Größe, Attribute und Speicherort der Datei (en), einschließlich aller Informationen über nicht-reguläre Dateien, Verzeichnisse, dh, Steckdosen, Leitungen und Geräte).
& Nbsp; * Daten-Server (Brocken-Server) - eine beliebige Anzahl von Servern für die Speicherung von Dateien und Synchronisieren von Daten unter sich (wenn eine bestimmte Datei soll in mehr als eine Kopie vorhanden).
& Nbsp; * Metadaten-Backup-Server (n) (metalogger Server) - eine beliebige Anzahl von Servern, die alle speichern Metadaten Changelogs und in regelmäßigen Abständen herunterzuladen Hauptmetadatendatei; so dass diese Server in die Rolle des Managing Server zu fördern, als primären Master nicht mehr funktioniert.
& Nbsp; * Clientcomputer, die Zugriff (mount) werden die Dateien in MooseFS - eine beliebige Anzahl von Maschinen mit mfsmount Verfahren, mit dem die Verwaltung-Server zu kommunizieren (zu empfangen und zu ändern Datei-Metadaten) und mit chunkservers (zum tatsächlichen Dateidatenaustausch).
mfsmount basiert auf der FUSE Mechanismus (Dateisystem im Benutzer) basiert, so MooseFS ist auf jedem Betriebssystem mit einer Arbeits FUSE Umsetzung verfügbar (Linux, FreeBSD, MacOS X, etc.)
Metadaten werden in der Erinnerung an die Verwaltungsserver (als in regelmäßigen Abständen aktualisiert Binärdatei und sofort aktualisiert inkrementelle Protokolle) gespeichert und gleichzeitig auf der Festplatte gespeichert. Der Haupt Binärdatei sowie die Protokolle zu den metaloggers synchronisiert (wenn vorhanden).
Dateidaten werden in Fragmente (chunks) mit maximal 64MiB aufgeteilt. Jedes Stück ist selbst eine Datei auf ausgewählten Festplatten auf Datenservern (chunkservers).
Eine hohe Zuverlässigkeit wird durch die Konfiguration so viele verschiedene Datenserver als angemessen, die "Ziel" Wert (Anzahl der Kopien zu halten) für die angegebene Datei gesetzt realisieren erreicht.
wie das System funktioniert
Alle Dateioperationen auf einem Clientcomputer, MooseFS montiert wurde, sind genau die gleichen wie sie mit anderen Dateisystemen sein. Der Betriebssystem-Kernel überträgt alle Datei-Operationen auf die FUSE-Modul, das mit dem mfsmount Prozess kommuniziert. Die mfsmount Prozess kommuniziert über das Netzwerk anschließend mit den Verwaltungsserver und Datenserver (Brocken-Server). Der gesamte Vorgang ist völlig transparent für den Benutzer.
mfsmount kommuniziert mit dem Management Server, wenn eine Operation auf Datei-Metadaten sind erforderlich:
& Nbsp; * Erstellen von Dateien
& Nbsp; * Löschen von Dateien
& Nbsp; * Lesen Verzeichnisse
& Nbsp; * Lesen und Ändern von Attributen
& Nbsp; * wechselnden Dateigrößen
& Nbsp; * zu Beginn der Lese- oder Schreibdaten
& Nbsp; * auf jedem Zugriff auf spezielle Dateien auf MFSMETA
mfsmount verwendet eine direkte Verbindung mit dem Datenserver (chunk-Server), die die entsprechende Stück einer Datei speichert. Beim Schreiben einer Datei nach Beendigung des Schreibvorgangs die Verwaltung von Server Informationen von mfsmount auf Länge einer Datei und den Zeitpunkt der letzten Änderung zu aktualisieren.
Weiterhin Datenserver (chunk Server) miteinander kommunizieren, um Daten, die entsprechende Anzahl von Kopien einer Datei auf verschiedenen Maschinen zu erreichen replizieren.
& Nbsp;
Fehlertoleranz
& Nbsp;
Verwaltungsbefehle erlauben dem Systemadministrator, die "Ziel", oder die Anzahl der Kopien, die beibehalten werden sollte, auf einer Pro-Verzeichnis oder pro-Datei-Ebene festlegen. Einstellen des Ziel um mehr als eins und mit mehr als einem Datenserver wird Fehlertoleranz. Wenn die Dateidaten in vielen Kopien (auf mehr als einen Datenserver) gespeichert, ist das System unempfindlich gegen Störungen oder temporäre Netzwerkausfällen eines einzelnen Datenserver.
Das bedeutet natürlich nicht, um Dateien mit dem "Ziel" auf 1 gesetzt ist, in diesem Fall wird die Datei nur auf einem Datenserver existiert, unabhängig davon, wie viele Datenserver in das System eingesetzt beziehen.
In Ausnahmefällen wichtige Dateien, können ihr Ziel auf eine Zahl größer als zwei, die es erlauben diese Dateien gegen eine Aufteilung der mehr als einen Server zu sein auf einmal gesetzt.
In der Regel sollte die Einstellung für die Anzahl der Kopien zur Verfügung eine mehr als die erwartete Anzahl der unzugänglichen oder Out-of-Order-Server sein.
In dem Fall, in dem ein einziger Daten Server ein Fehler auftritt oder die Trennung vom Netz, in sich gespeichert hat der Dateien, die mindestens zwei Kopien hatten, werden von einem anderen Datenserver zugänglich bleiben. Die Daten, die jetzt "unter das Ziel" wird an einem anderen zugänglichen Daten-Server repliziert werden, um wieder die erforderliche Anzahl von Kopien.
Es sei darauf hingewiesen, dass, wenn die Anzahl der verfügbaren Server niedriger als die "Ziel" für einen bestimmten Datei festgelegt ist, kann die erforderliche Anzahl von Kopien nicht beibehalten werden. Ähnlich, wenn es die gleiche Anzahl von Servern, die der aktuell eingestellten Ziel und wenn ein Datenserver 100% seiner Kapazität erreicht hat, wird es nicht möglich zu beginnen, um eine Kopie einer Datei, die nun unter ihrem Ziel Schwellenwert aufgrund weiterer halten Daten-Server offline gehen. In diesen Fällen wird eine neue Datenserver sollte in das System so schnell wie möglich, um die gewünschte Anzahl von Kopien der Datei beizubehalten verbunden werden.
Eine neue Datenserver kann dem System jederzeit angeschlossen werden. Die neue Kapazität wird sofort werden für neue Dateien zu speichern oder replizierte Kopien von Dateien von anderen Datenservern zu halten verfügbar.
Verwaltungsdienstprogramme existieren, um den Status der Dateien im Dateisystem abfragen, um festzustellen, ob eine der Dateien liegen noch unter ihrem Ziel (festgelegte Anzahl von Kopien). Dieses Dienstprogramm kann auch verwendet werden, um die Zielsetzung zu ändern, wie erforderlich.
Die in den Blöcken gespeicherten Daten Fragmente werden versioniert, so re-Anschluss eines Datenserver mit älteren Kopie der Daten (beispielsweise wenn es offline für einen Zeitraum von Zeit), wird nicht dazu führen Sie die Dateien inkohärent zu werden. Der Datenserver wird sich zu synchronisieren, um die aktuellen Versionen der Stücke, in denen die veraltete Stücke werden entfernt und der freie Platz wird neu verteilt, um die neuen Stücke zu halten halten.
Ausfälle von einer Client-Maschine (die die mfsmount Prozess läuft) wird keinen Einfluss auf die Kohärenz des Dateisystem oder auf die andere Kunden haben wird. Im schlimmsten Fall werden die Daten, die noch nicht von der fehlerhaften Client-Computer gesendet wurde, ist verloren.
& Nbsp;
PLATFORMS
& Nbsp; MooseFS ist auf jedem Betriebssystem mit einer Arbeits FUSE Implementierung zur Verfügung:
& Nbsp; * Linux (Linux 2.6.14 und up haben FUSE Unterstützung in den offiziellen Kernel enthalten)
& Nbsp; * FreeBSD
& Nbsp; * Opensolaris
& Nbsp; * MacOS X
Der Master-Server, Server und metalogger chunkservers können auch auf Solaris oder Windows mit Cygwin laufen. Leider ohne FUSE wird es nicht möglich sein, das Dateisystem in dieser Betriebssysteme montieren

Was ist neu in dieser Pressemitteilung:.

< li> Die wichtigsten Änderungen beinhalten festSignalVerarbeitung in Multithread-Module, Ziel und trashtime Grenzen in mfsexport.cfg und eine einfache Prüfung zum Download Metadatendateien.

Was ist neu in Version 1.6.19:

• Umfangreiche Änderungen an der Maschine und metalogger metarestore eingeführt Instrument für eine bessere Integrität der Metadaten.
• Ein Scanning-Fortschrittsbalken in CS hinzugefügt.
• Die Master-Name ist nun behoben, wenn eine Verbindung hergestellt werden kann.
• Eine neue Sitzung erstellt wird, wenn der vorherige ist verloren.
• Viele andere Verbesserungen und Bugfixes wurden.

Was ist neu in Version 1.6.17:

• In dieser Version haben wir eine automatische Daten-Cache-Management .
• Es genügt, nur den Master-Server (keine Änderungen in Stück-Server "oder Kunden-Code gemacht wurden) zu aktualisieren.
• Der Kernel-Cache-Mechanismus immer existiert, aber bis jetzt der Cache immer beim Öffnen einer Datei gelöscht. Jetzt MooseFS steuert, ob Sie es oder nicht, indem, wenn die Datei war oder nicht von einem anderen Client geändert löschen. Lassen Sie uns an einigen Szenarien.
• Im ersten Fall
• 1. Computer A liest die Datei X
• 2. Computer B liest die Datei X
• 3. Computer A möchte, um die Datei zu lesen X - wir den Cache (die Datei nicht verändert) lassen
• Zweiter Szenario:
• 1. Computer A liest die Datei X
• 2. Computer A schreibt in die Datei X
• 3. Computer A möchte tor lesen Sie die Datei X - wir den Cache (die Datei wurde geändert, aber Computer A weiß, über diese Änderungen) lassen
• Drittes Szenario:
• 1. Computer A liest die Datei X
• 2. Computer B schreibt in die Datei X
• 3. Computer A zu lesen Sie die Datei X will - hier haben wir die Kraft, um den Cache zu leeren (da Änderungen wurden von Computer B und Computer A hat nicht über sie wissen)
• In realen Umgebungen ersten und zweiten Szenarien passieren weit mehr als drittes Szenario oft und deshalb ist es sinnvoll, den Inhalt des Cache lassen und gewinnen Gesamtleistung des Systems ist.
• Natürlich gibt es einige mittlere Szenarien (aber sie vorher existiert auch) wie diese:
• 1. Computer A öffnet die Datei X und liest sie vollständig (die Datei bleibt im Cache)
• 2. Computer B ändert die Datei X
• 3. Computer A erneut liest die Datei X (aber ohne Schließen und Wiedereröffnung es - gerade bewegen an Position 0 und Wiederlesen es)
• In dieser Situation würde Computer A die gleichen Daten wie in Schritt 1 zu erhalten, aber das gleiche auch in MooseFS passiert.
• Ein Attribut nodatacache wurde eingeführt, um eine Datei im Cache verbietet. Ab Version 1.6.17 Dateien mit nodatacache Attribut verhalten sich wie Dateien in älteren Versionen von MooseFS taten. Dieses Flag kann mit Werkzeugen mfsseteattr, mfsdeleattr und mfsgeteattr verwendet werden.
• Diese Flagge wurde präventiv aufgenommen und werden Sie wahrscheinlich nicht brauchen, um es zu benutzen. Wenn nach einiger Zeit scheint es, dass dies wirklich nutzlos es werden gelöscht. Aber wenn man jeden Case / Szenario, das der automatische Cache-Mechanismus erfordert finden bitte teilen Sie es mit uns.