Apache Hadoop

Apache Hadoop zunächst von Yahoo entwickelt wurde und das Projekt ist eine Kombination zwischen den vorherigen Apache Hadoop-Core und Apache Hadoop Gemeinsame repos.

Das Hadoop Projekt viel Berühmtheit durch seine hervorragende Ergebnisse bei der Umsetzung einer Multi-Server verteilten Computersystem für den Umgang mit großen Datenmengen gewonnen hat.

Das Projekt selbst besteht eigentlich aus vier Teilen. Man ist Hadoop Common, der so genannte Kern, der alle anderen Module erlaubt zu arbeiten, die zweite ist eine ganz eigene Dateisystem - HDFS (Hadoop Distributed File System) ist die dritte der Hadoop GARN Planungsrahmen, und schließlich gibt es das Hadoop MapReduce System unterstützt parallel-Computing.

diese bahnbrechende System, hat die Apache verwaltet viele andere Seite Projekte zu schaffen, wie:

- Apache Ambari

- Apache Avro

- Apache Cassandra

- Apache HBase

- Apache Hive

- Apache Mahout

- Apache Pig

- Apache Funken

- Apache Tez

- Apache ZooKeeper

Alle diese verlassen sich auf Hadoop leistungsfähigen Datenverarbeitungs-Engine oder seine Distributed Computing-Funktionen, einem seiner Module zu integrieren in ihre Kern der einen oder der anderen Seite.

Was ist neu in dieser Version:

• Unterstützung für Archival Storage
• Transparente ruhende Daten-Verschlüsselung (beta)
• Betriebs sichere DataNode ohne Root-Zugriff erforderlich
• Hot-Swap-Laufwerk: Unterstützung hinzufügen / Datenknoten Volumes entfernen, ohne Datenknoten neu zu starten (beta)
• AES-Unterstützung für schnellere Draht Verschlüsselung
• Unterstützung für lange Laufleistungen in GARN
• Support Node Etiketten bei der Terminierung
• Unterstützung für zeitbasierte Ressourcenreservierungen in Capacity Scheduler (beta)
• Global, Shared-Cache für Anwendungsartefakte (beta)
• Support Betrieb von Anwendungen nativ in Docker Containern (alpha)

Was ist neu in Version 2.7.1:

• Unterstützung für Archival Storage
• Transparente ruhende Daten-Verschlüsselung (beta)
• Betriebs sichere DataNode ohne Root-Zugriff erforderlich
• Hot-Swap-Laufwerk: Unterstützung hinzufügen / Datenknoten Volumes entfernen, ohne Datenknoten neu zu starten (beta)
• AES-Unterstützung für schnellere Draht Verschlüsselung
• Unterstützung für lange Laufleistungen in GARN
• Support Node Etiketten bei der Terminierung
• Unterstützung für zeitbasierte Ressourcenreservierungen in Capacity Scheduler (beta)
• Global, Shared-Cache für Anwendungsartefakte (beta)
• Support Betrieb von Anwendungen nativ in Docker Containern (alpha)

Was ist neu in Version 2.7.0:

• Unterstützung für Archival Storage
• Transparente ruhende Daten-Verschlüsselung (beta)
• Betriebs sichere DataNode ohne Root-Zugriff erforderlich
• Hot-Swap-Laufwerk: Unterstützung hinzufügen / Datenknoten Volumes entfernen, ohne Datenknoten neu zu starten (beta)
• AES-Unterstützung für schnellere Draht Verschlüsselung
• Unterstützung für lange Laufleistungen in GARN
• Support Node Etiketten bei der Terminierung
• Unterstützung für zeitbasierte Ressourcenreservierungen in Capacity Scheduler (beta)
• Global, Shared-Cache für Anwendungsartefakte (beta)
• Support Betrieb von Anwendungen nativ in Docker Containern (alpha)

Was ist neu in Version 2.6.0:

• Unterstützung für Archival Storage
• Transparente ruhende Daten-Verschlüsselung (beta)
• Betriebs sichere DataNode ohne Root-Zugriff erforderlich
• Hot-Swap-Laufwerk: Unterstützung hinzufügen / Datenknoten Volumes entfernen, ohne Datenknoten neu zu starten (beta)
• AES-Unterstützung für schnellere Draht Verschlüsselung
• Unterstützung für lange Laufleistungen in GARN
• Support Node Etiketten bei der Terminierung
• Unterstützung für zeitbasierte Ressourcenreservierungen in Capacity Scheduler (beta)
• Global, Shared-Cache für Anwendungsartefakte (beta)
• Support Betrieb von Anwendungen nativ in Docker Containern (alpha)

Was ist neu in Version 2.5.0:.

• Authentifizierung Verbesserungen, wenn eine HTTP-Proxy-Server
• Eine neue Hadoop Metrics Senke, die direkt an Graphit ermöglicht das Schreiben.
• Spezifikation für Hadoop unterstützte Dateisystem-Aufwand.
• Unterstützung für POSIX-style-Dateisystem erweiterte Attribute.
• OfflineImageViewer eine fsimage über die WebHDFS API zu suchen.
• Supportability Verbesserungen und Fehlerbehebungen an den NFS-Gateway.
• Modernisiertes Web-UIs (HTML5 und Javascript) für HDFS Daemons.
• REST-APIs Unterstützung der GARN einreichen und das Töten von Anwendungen.
• Kerberos-Integration für die Timeline-Store GARN.

Was ist neu in Version 2.4.0:

• Unterstützung für Access Control Lists in HDFS
• Native Unterstützung für den Rolling Upgrades in HDFS
• Verwendung von Protokoll-Puffer für HDFS FSImage für einen reibungslosen operativen Upgrades
• Komplette HTTPS-Unterstützung in HDFS
• Unterstützung für automatische Failover des GARN Resourcemanager
• Verbesserte Unterstützung für neue Anwendungen auf GARN mit Anwendungsgeschichte von Server- und Anwendungstimeline Server
• Unterstützung für starke SLAs in GARN CapacityScheduler über Preemption

Was ist neu in Version 2.3.0:.

• Unterstützung für heterogene Speicherhierarchie in HDFS
• In-Memory-Cache für HDFS Daten mit einer zentralen Administration und Verwaltung.
• Vereinfachte Verteilung von MapReduce-Binärdateien über HDFS in GARN Distributed Cache.

Was ist neu in Version 2.2.0:

• GARN - Ein Allzweck-Ressource-Management-System für Hadoop zu ermöglichen, MapReduce und anderen anderen Datenverarbeitungs Frameworks und Dienstleistungen
• Hochverfügbarkeit für HDFS
• HDFS Föderation
• HDFS Snapshots
• NFSv3- Zugriff auf Daten in HDFS

Was ist neu in Version 2.1.0-beta:

• HDFS Snapshots
• Unterstützung für die Ausführung von Hadoop auf Microsoft Windows
• GARN API Stabilisierung

Was ist neu in Version 2.0.3-alpha:

• qjm für HDFS HA ​​für NameNode
• Multi-Ressourcen-Planung (CPU und Speicher) für GARN
• GARN Resourcemanager neu starten
• Bedeutende Stabilität im Maßstab für GARN (mehr als 30.000 Knoten und 14 Millionen Anwendungen so weit, zum Zeitpunkt der Veröffentlichung)

Was ist neu in Version 1.0.0:.

• Bessere Sicherheit
• HBase (append / HSYNCH / hflush und Sicherheit).
• webhdfs (mit voller Unterstützung für Sicherheit).
• Leistungsverbesserte Zugriff auf lokale Dateien für HBase.
• Andere Leistungsverbesserungen, Fehlerbehebungen und Features.

Was ist neu in der Version 0.20.2:

• RPC-Server-Sendepuffer behält Größe der größten Antwort je gesendet.
• C ++ Bibliotheken bauen nicht auf Debian Lenny.
• Einige c ++ Skripte nicht vor Ameise Ausführung chmodded.
• Streaming. Verfahren zur Statusmeldungen alle 10 seoncds überschrieben
• Illegal wenn CombineFileInputFormat als Job Inputformat verwendet wird.
• Mehrere Bugs w / Hadoop-Archiven.
• Lassen Sie das Caching von Dateisystem-Instanzen auf einer pro-Instanz Basis deaktiviert zu sein.
• Fehlende Synchronisation für defaultResources in Configuration.addResource.
• GzipCodec sollte nicht vertreten BuiltInZlibInflater als decompressorType.
• NameNode der Httpserver kann InetSocketAddress nicht instanziiert: Illegal geworfen
.
• Httpserver schläft mit negativen Werten.
• läuft NameNode von aus dem Speicher aufgrund Speicherleck in IPC-Server.
• IPC-Client Fehler RPC-Aufruf hängen verursachen können.
• Prüfungen nicht verhindern, dass der Rest der Testziele von der Ausführung.
• Contrib Tests versagen Clover'ed bauen.
• Tests laufen nicht auf 0,20 Zweig.
• TestStreamingStatus versagt auf 0,20 Zweig.