DataFu

DataFu wurde bei LinkedIn entwickelt und ist vollständig in Java geschrieben.

DataFu enthält Funktionen / Bibliotheken für die Arbeit mit:

- Statistik

- Schätzung

- Probenahme

- Sessions

- Link-Analyse

- Set-Operationen

- Taschen

DataFu ist ideal für Data Mining und statistische Anwendungen arbeiten auf der Hadoop oder Pig-Datenbanken.

Diese Funktionen ermöglichen es Entwicklern, den vollen Nutzen aus all den Daten innerhalb eines Hadoop oder Schwein Datenbank ohne mit massiven Systemanforderungen, um so zu tun, um zu beschäftigen gespeichert zu nehmen.

Was ist neu in dieser Version:.

• Paar UDF für einfache Zufallsstichproben mit Ersatz
• Weitere Abhängigkeiten jetzt in DataFu verpackt so weniger JAR-Abhängigkeiten erforderlich.
• SetDifference UDF zur Berechnung eingestellt Differenz (z A-B oder A-B-C).

Was ist neu in Version 1.2.0:

• Paar UDF für einfache Zufallsstichproben mit Ersatz.
• Weitere Abhängigkeiten jetzt in DataFu verpackt so weniger JAR-Abhängigkeiten erforderlich.
• SetDifference UDF zur Berechnung eingestellt Differenz (z A-B oder A-B-C).

Was ist neu in Version 1.1.0:.

• hinzugefügt SHA Hash-UDF
• InUDF und AssertUDF hinzugefügt für Pig 0,12 Kompatibilität. Dies sind die gleichen wie in und Assert.
• SimpleRandomSample, die eine skalierbare einfachen Zufallsauswahl-Algorithmus implementiert.