Apache Spark

Funken wurde entwickelt, um Verarbeitungsgeschwindigkeiten für die Datenanalyse und Manipulation Programme zu verbessern.
Es wurde in Java und Scala geschrieben und bietet Funktionen, die nicht in anderen Systemen gefunden werden, vor allem, weil sie nicht Mainstream, noch, dass die für Nicht-DV-Anwendungen.

Was ist neu in dieser Pressemitteilung:.

• Der Kern API unterstützt jetzt Multi-Level-Aggregation Bäume zur Beschleunigung teure Operationen zu reduzieren
• Verbesserte Fehlerberichterstattung wurde für bestimmte gotcha Operationen hinzugefügt.
• Spark Jetty Abhängigkeit wird nun im Schatten zur Vermeidung von Konflikten mit Anwenderprogrammen.
• Funken unterstützt jetzt SSL-Verschlüsselung für einige Kommunikationsendpunkte.
• Realtime GC-Metriken und Rekordzahlen wurden an die UI hinzugefügt.

Was ist neu in Version 1.3.0:

• Der Kern API unterstützt jetzt Multi-Level-Aggregation Bäume zur Beschleunigung teure Operationen zu reduzieren.
• Verbesserte Fehlerberichterstattung wurde für bestimmte gotcha Operationen hinzugefügt.
• Spark Jetty Abhängigkeit wird nun im Schatten zur Vermeidung von Konflikten mit Anwenderprogrammen.
• Funken unterstützt jetzt SSL-Verschlüsselung für einige Kommunikationsendpunkte.
• Realtime GC-Metriken und Rekordzahlen wurden an die UI hinzugefügt.

Was ist neu in Version 1.2.1:

• PySpark der Sort-Operator unterstützt jetzt externe Verschütten für große Datenmengen .
• PySpark unterstützt nun Broadcast Variablen größer als 2GB und führt externe Verschütten während Art.
• Funken fügt eine Job-Level-Fortschritt Seite in die Spark-UI, eine stabile API für den Fortschritt Reporting und dynamische Aktualisierung von Ausgabe Metriken wie Aufträge abgeschlossen.
• Funke hat jetzt die Unterstützung für das Lesen von Binärdateien für Bilder und andere binäre Formate.

Was ist neu in der Version 1.0.0:

• Diese Version erweitert Standard-Bibliotheken Spark, die Einführung eines neuen SQL-Paket (Spark-SQL), die ermöglicht Benutzern integrieren SQL-Abfragen in bestehende Workflows Funken.
• MLlib, maschinelles Lernen Bibliothek Spark wird mit spärlichen Vektor Unterstützung und einige neue Algorithmen erweitert.

Was ist neu in Version 0.9.1:

• Fixed Hashkollision bug in externen Verschütten
• Feste Konflikt mit Spark log4j für Benutzer die sich auf andere Logging-Backends
• Feste Graphx fehlt Zündkerzenmontage jar in Maven baut
• Feste schweigen Ausfälle aufgrund map Ausgangsstatus von mehr als Akka Baugröße
• unnötige direkte Abhängigkeit entfernt Spark auf ASM
• Entfernt Metriken-Ganglien von Standard-Build aufgrund LGPL Konflikt
• Fixed bug in Verteilung Tarball nicht enthalten Funken Montage jar

Was ist neu in Version 0.8.0:

• Entwicklung hat auf die Apache Foundation Sowftware als bewegt Inkubator-Projekt.

Was ist neu in Version 0.7.3:

• Python Leistung: Spark Mechanismus zum Laichen Python VMs hat wurde verbessert, um so schneller zu tun, wenn die JVM verfügt über einen großen Heap-Größe, die Beschleunigung der Python API.
• Mesos behebt: Gläser, um Ihre Arbeit aufgenommen wird nun im Klassenpfad beim Deserialisieren Aufgabe ergibt Mesos sein
.
• Fehlerberichte:. Bessere Fehlerberichterstattung für nicht serialisierbar Ausnahmen und zu große Aufgabe Ergebnisse
• Beispiele:. Hinzugefügt ein Beispiel Stateful Stromverarbeitung mit updateStateByKey
• Körperbau:. Spark-Streaming nicht mehr abhängig von der Twitter4J Repo, die es erlauben sollte, um in China zu bauen
• Bug-Fixes in foldByKey, Streaming-Zählung, Statistiken Methoden, Dokumentation und Web-UI.

Was ist neu in Version 0.7.2:.

• Scala Version 2.9.3 aktualisiert
• Verschiedene Verbesserungen an Bagel, einschließlich Leistungskorrekturen und einer konfigurierbaren Speicherebene.
• Neue API-Methoden:. SubtractByKey, foldByKey, KarteMit, filterWith, foreachPartition und andere
• Eine neue Metriken Reporting-Schnittstelle, SparkListener, um Informationen über die einzelnen Berechnungsstufe sammeln. Aufgabe Längen-Bytes neu gemischt, usw.
• Einige neue Beispiele mit Hilfe der Java-API, einschließlich der K-Mittel und Rechen pi.

Was ist neu in Version 0.7.0:

• Funken 0.7 fügt eine Python API genannt PySpark <. / li>
• Spark-Arbeitsplätze jetzt starten eine Web-Dashboard zur Überwachung der Speichernutzung jedes verteilten Datensatzes (RDD) im Programm.
• Funke kann nun mit Maven neben SBT gebaut werden.

Was ist neu in Version 0.6.1:

• Fixed übermäßig aggressiv Nachricht Timeouts das könnte dazu führen, Arbeiter Trennen Sie aus dem Cluster.
• Ein Fehler in der Standalone-deploy-Modus, hat Hostnamen zu Scheduler aussetzen, HDFS Ort beeinflussen, wurde behoben.
• Verbesserte Verbindung Wiederverwendung in Shuffle, die stark beschleunigen kann kleine schlurft.
• Fixed einige potenzielle Deadlocks im Block-Manager.
• einen Fehler bekommen IDs der ausgefallenen Rechner von Mesos behoben.
• Mehrere EC2 Skript Verbesserungen, wie bessere Handhabung von Spot Instances.
• Aus der lokalen IP-Adresse, dass Funken bindet an anpassbar.
• Unterstützung für Hadoop-Distributionen 2.
• Unterstützung für die Lokalisierung Scala auf Debian-Distributionen.

Was ist neu in Version 0.6.0:.

• Einfachere Bereitstellung
• Dokumentation Spark wurde mit einer neuen Schnellstartanleitung, zusätzliche Bereitstellungsanweisungen, Konfigurationsanleitung, Tuning Guide und eine verbesserte Scaladoc API-Dokumentation wurde erweitert.
• Eine neue Kommunikationsmanager mit asynchronen Java NIO können Shuffle-Betrieb laufen schneller, vor allem, wenn das Senden großer Datenmengen oder bei der Arbeit haben viele Aufgaben.
• Eine neue Storage Manager unterstützt pro-Datensatz Speicherebene Einstellungen (zB, ob die Datenmenge im Speicher zu halten, deserialisiert, auf der Festplatte, etc., oder sogar über Knoten repliziert).
• Verbesserte Debugging.