Hadoopy

Es ist im Grunde eine Python-Bibliothek für MapReduce in Cython geschrieben

Eigenschaften .

• Ähnliche Schnittstelle als Hadoop API (Entwurfsmuster zwischen Python / Java-Schnittstellen nutzbar)
• Allgemein Kompatibilität mit dumbo, damit die Benutzer hin und her schalten
• Einsetzbar auf Hadoop-Clustern ohne Python oder Admin-Zugriff
• Schnelle Konvertierung und Bearbeitung
• Bleiben Sie kleine und gut dokumentiert
• Seien Sie transparent, was los ist
• Handle Programme mit komplizierten .so ist, ctypes und Erweiterungen
• -Code für Hack-Fähigkeit geschrieben
• Einfache HDFS Zugang (zB Lesen, Schreiben, ls)
• Support (und nicht replizieren) die größere Hadoop Ökosystem (zB Oozie, Surren)
• Automatische Job Parallelisierung 'auto-Oozie' im hadoopy Strom-Projekt (von Zweig gehalten)
• Lokale Ausführung von unmodifizierten MapReduce Job mit launch_local
• Lesen / Schreiben von Sequenzdateien TypedBytes direkt an HDFS von Python (readtb, writetb)
• Ermöglicht den Druck auf stdout und stderr in Hadoop Aufgaben ohne Probleme (verwendet den 'Rohr-Hopping "-Technik, die beide zur Verfügung stehen in stderr der Aufgabe)
• Funktioniert auf Clustern ohne zusätzliche Installation, Python oder keine Python-Bibliotheken (Pyinstaller verwendet, die in diesem Quellbaum enthalten ist)
• Funktioniert auf OS X
• Kritischer Pfad ist in Cython
• Einfache HDFS Zugang (readtb und ls) innerhalb Python, sogar in laufenden Aufträge
• Unit-Test-Schnittstelle
• Berichterstattung mit Hilfe von Status- und Zähler (und print-Anweisungen! Keine Notwendigkeit, von ihnen in Hadoopy Angst)
• Unterstützt Design Patterns in der Lin & Dyer book
• Typedbytes Unterstützung (sehr schnell)
• Oozie Unterstützung

Anforderungen :

• Cython 0.13 oder höher