Apache Crunch

Eine Pipeline ist eine Verkettung der Operationen, um eine bestimmte Aufgabe, angeordnet zuführen, so daß das Ausgangssignal jedes Elements ist die Eingabe des nächsten.
Apache Crunch bietet eine einfachere Methode des Umgangs mit Apache Hadoop MapReduce-Pipelines.
Klemme vereinfacht diesen Vorgang, indem sie eine Vielzahl von vorgefertigten Verfahren und Funktionen, die verwendet werden können, zu montieren und MapReduce Leitungen in verschiedenen Formen zu manipulieren.
Das Projekt umfasst eine native Java-API, zusammen mit einer Scala ein (benannt Scrunch).
Unterstützung wird zusätzlich für die Handhabung von Avro Aufzeichnungen und HBase Zeilen und Spalten enthalten.