Apache Kafka

Apache Kafka ist ähnlich wie Facebook-Scribe-Motor (wenn Sie vertraut dabei sind) und kann verwendet werden, um die Aktivität Ströme handhaben werden.

Es funktioniert, indem es Entwicklern erlaubt, einen oder mehrere Aktivitätsströme (oder Feeds) aufrecht zu erhalten.

Diese Feeds können in Themen organisiert werden, und dann ausgestrahlt (veröffentlicht) an alle abonnierten Verbraucher.

Die Teile Kafka, die zu verwalten und veröffentlichen die Feeds werden Produzenten genannt.

Kafka ist im Grunde die Mittelschicht zwischen den Erzeugern und Verbrauchern, ein komplexes System, das jede Art von Datenverkehr von und auf jeder Art von Maßstab verarbeiten kann.

Das ist, weil Kafka wurde gebaut, um verteilte Server-Architekturen zu behandeln, so dass Entwickler ihre Pub / Sub-Systemen auf Cloud-Services zu skalieren.

Was ist neu in Diese Pressemitteilung:.

• Eine neue Java-Produzent für einfache Implementierung und verbesserte Leistung
• Löschen Thema Support.
• Per Thema Konfiguration der Präferenz für Konsistenz über Verfügbarkeit.
• Scala 2.11 Support & Drop-Unterstützung für Scala 2.8.
• LZ4 Kompression.

Was ist neu in Version 0.8.2.1:

• A neue Java-Produzent für einfache Implementierung und verbesserte Leistung.
• Löschen Thema Support.
• Per Thema Konfiguration der Präferenz für Konsistenz über Verfügbarkeit.
• Scala 2.11 Support & Drop-Unterstützung für Scala 2.8.
• LZ4 Kompression.

Was ist neu in der Version 0.8.0-beta1:.

• Fixed bestehenden Perf Tools
• Draht bestehenden Erzeuger und Verbraucher, um das neue ZK Datenstruktur zu verwenden.
• Erstellen / Löschen ZK-Pfad für ein Thema in einer Admin-Tool.
• Implementiert ein Embedded-Controller.

Was ist neu in der Version 0.7.1:

• während der Verbraucher Neuverteilung Vermeiden duplizierten Nachricht
• Unterstützung konfigurierbaren Sende / Empfangs-Socket-Puffergröße in Server
• javaapi ZookeeperConsumerConnectorTest dupliziert vielen Tests in der Scala-Version
• # Verbraucher Neuverteilung wiederholt konfigurierbar
• SyncProducer sollte Host und Port melden Sie sich, wenn keine Verbindung herstellen können.
• Reduzieren Sie doppelte Nachrichten von der Kafka Verbraucher für unkomprimierte Themen serviert
• direkt Vermeiden Protokollierung Stacktrace
• Stellen Backoff-Zeit während der Verbraucher Neuverteilung konfigurierbar
• Erhöhen Sie log4j-Appender zu kafka.producer.Producer verwenden und Unterstützung zk.connect | broker.list Optionen
• trennen Kafka Spiegelung in einen Stand-alone-Anwendung
• Hadoop Produzenten verwenden sollten Software-Lastausgleich

Was ist neu in der Version 0.7.0:

• Kafka unterstützt nun Blockebene Kompression. Siehe Kompressions Wiki für Details. Derzeit nur gzip ist sup portiert.
• Melden Sie sich Retention kann nun abhängig von Raum (log.retention.size).

Was ist neu in Version 0.6:

• Fixed Bugs:
• SimpleProducer verlieren Meldungen beim Buchse bekommt eine io Ausnahme
• Wenn der Hersteller sendet eine ungültige MessageSet der Broker wird es anzuhängen, zu verderben das Protokoll
• ByteBufferMessageSet meldet Fehler über Fetch-Größe
• Shutdown Kafka, wenn es irgendeine Scheibe IO-Fehler
• Propagieren Server alle Ausnahmen von Verbraucher
• close () in SimpleConsumer synchronisiert werden sollen
• Consumer-Code-Dokumentation
• Erhöhen Sie Eventhandler in AsyncProducer
• Die Tierpfleger basierend Produzent nicht einen toten Broker zu entfernen aus seiner Liste halte gleichzeitig die Erzeugnisse Anfrage
• Consumer Protokolle Fehler beim close
• Verbesserungen:
• Aufräum JUnit-Test
• MessageSet nicht implementiert Java iterable
• Standard-Encoder für Kafka log4 appender
• explizit angegeben werden alle Themen
• Refactor öffentliche API in Java und Scala API
• Erhöhen Sie API-Dokumentation für alle öffentlichen APIs
• Entfernen Sie die java FileMessageSet API
• Einheit Test nicht auf einigen Linux-Maschinen
• Erstellen SBT Teilprojekte für perf, Beispiele, contrib, die derzeit mit Ant
• In JMX zum Ändern log4j Ebene dynamisch zur Kafka-Server
• Upgrade auf Zookeeper 3.3.3
• javaapi MessageSet muss nicht WriteTo Socket implementieren
• Neue Features:
• New Produzent API