Apache Flume

Apache Flume wurde als Überträger-System, das Protokolle erfasst von einer Anwendung und liefert es zu einem anderen entwickelt.
Es sollte mit den meisten Java-Anwendungen und Entwickler arbeiten sollten sicher sein, Flume gegen Datenverlust und Dienstausfall geschützt.
Protokolldaten werden in Echtzeit über fehlertolerante Systeme mit Unterstützung für viele Failover und Recovery-Mechanismen gestreamt.
Da Flume läuft von einer zentralen Stelle, können Entwickler einfach zu verwalten ist und auch in seine Ressourcen für die Statistiken und Analysen Zwecke zu erschließen.
Eine versteckte Funktion des Flume ist seine eigentliche "Daten-agnostisch" System. Das bedeutet, man kann leicht schalten eines Datenstroms Quelle von einem Protokollausgabe, etwas anderes zu verwenden, um sicher zu Flume aggregierte Informationen aus verschiedenen Arten von Dienstleistungen.

Was ist neu in dieser Pressemitteilung können. > Entfernen SSLv2Hello verursacht Java 6 Kunden zu brechen

• Aktivieren SSLv2Hello für Avro Quelle und NettyAvroRpcClient
• Aktivieren SSLv2Hello für HttpSource
• Hinzugefügt dev-Unterstützung src Tarball
• Unit-Test TestHTTPSource.java fehlgeschlagen mit IBM JDK 1.7
• HTTP Quelle sollte in der Lage, um eine voran Reihe von Protokollen zu blockieren.
• HTTPS Tests fehlschlagen auf Java 6
• Konfiguration der aktivierten Protokolle in Avro Quelle und RPC-Client
Erlauben

Was ist neu in Version 1.5.2:

• Entfernen SSLv2Hello verursacht Java 6 Kunden zu brechen
• Aktivieren SSLv2Hello für Avro Quelle und NettyAvroRpcClient
• Aktivieren SSLv2Hello für HttpSource
• Hinzugefügt dev-Unterstützung src Tarball
• Unit-Test TestHTTPSource.java fehlgeschlagen mit IBM JDK 1.7
• HTTP Quelle sollte in der Lage, um eine voran Reihe von Protokollen zu blockieren.
• HTTPS Tests fehlschlagen auf Java 6
• Konfiguration der aktivierten Protokolle in Avro Quelle und RPC-Client
Erlauben

Was ist neu in Version 1.5.0:

• Neues Feature:
• Führen Sie eine Art von SpillableChannel
• Lassen SpoolDir um nur den Dateinamen, die die Quelle eines Ereignisses
spielte
• Flume Kontext nicht unterstützt float oder double Konfigurationswerte.
• Upgrade morphlines bis 0.7.0
• Gerinne-ng-log4jappender Unterstützung Benutzer gelieferten Header
• Elasticsearch Körper für ES HTTP API
• Es wurde eine Senke für Kite Datensätze
• Spooling-Verzeichnis sollte nicht immer die älteste Datei zuerst verbrauchen.
• Verbesserung:
• Flume Benutzerhandbuch Beispielkonfigurationen müssen Befestigungs
• Stellen SpoolDir arbeiten mit Unterverzeichnissen
• Spooling-Verzeichnis Quelle sollte in der Lage, ungültige Zeichen zu ersetzen oder zu ignorieren
• Griff größere Nutzlasten über SyslogUDPSource
• Upgrade morphline Bibliothek Abhängigkeit zu einem 0.5.0-Release
• Die Reduzierung von doppelten Ereignissen Reset-Anschluss-Intervall verursacht

Was ist neu in Version 1.3.0:

• Added HTTP Post Quelle
• ElasticSearch Sink
• Flume verabschieden Nachricht von bestehenden lokalen Scribe
• Hinzugefügt ein Multiport-Syslog-Quelle
• Datei-Kanal sollte Verschlüsselung unterstützen
• Erstellen Sie eine SpoolDirectory Quelle und Client
• Lastenausgleich RPC-Client sollte exponentielle Backoff von ausgefallenen Knoten unterstützt
• Dump Zählerstand RollingFileSink Jahren, als Agent stoppt
• Regex Extractor Interceptor

Was ist neu in Version 1.2.0:

• Implementiert eine Durable Kanalspeicher
• Erstellt Entwickler Leitfaden für Flume NG
• Client SDK
• Implementiert eine dauerhafte Filechannel
• Implementiert Interceptors (früher als Tapezierer genannt) für Flume 1.x
• Implementiert eine HBase Sink, die unterstützt Tabelle Level-Zugriff
• Implementiert Timestamp Interceptor
• Asynchronous HBase Sink

Anforderungen :

• Java 1.6 oder höher