Apache Pig aus der Apache Hadoop Projekt hervorgebracht und ist eine der Module, die verantwortlich für die Bereitstellung einer Möglichkeit, die Daten, die er verarbeitet und gespeichert werden analysieren, wo.
Schwein verwendet eine benutzerdefinierte Abfragesprache namens "Pig Latin", die unglaublich einfach zu erlernen ist, und unterstützt sowohl relationale und funktionellen Designs.
Das bedeutet, Sie können es als ein klassischer SQL-Sprache profitiert von Daten verbindet und Filter, oder Sie können ihre MapReduce-Funktionen, die Daten Mapper und Reduzierungen zu verwenden.
Standardmäßig ist Apache Pig wurde bedeutet, um im Inneren Hadoop-Installationen verwendet werden, aber neuere Versionen lassen Sie es separat über einen separaten JVM ausgeführt
Was ist neu in dieser Pressemitteilung:.
- Steckbare Ausführungsmaschinen (Schweinelauf auf nicht verkleinern Motoren in Zukunft zu ermöglichen)
- Auto-Lokalmodus (um Jobs mit kleinen Eingangsdatengröße, um im Prozess ausgeführt wird)
- Fetch-Optimierung (um Interaktivität Grunzen zu verbessern)
- Feste Zähler für lokale-Modus
- Unterstützung für Benutzerebene jar-Cache
- Unterstützung für Blacklisting und Whitelisting Schweine Befehle
- Mehrere Leistungskorrekturen und debuggability Features
- Ein paar nicht-rückwärts-kompatible Schnittstelle Modifikationen wurden in dieser Version eingeführt, um Schwein Arbeit mit nicht verkleinern Motoren machen
Was ist neu in der Version 0.14.0:
- Steckbare Ausführungsmaschinen (damit Schweine laufen auf nicht -mapreduce Motoren in Zukunft)
- Auto-Lokalmodus (um Jobs mit kleinen Eingangsdatengröße, um im Prozess ausgeführt wird)
- Fetch-Optimierung (um Interaktivität Grunzen zu verbessern)
- Feste Zähler für lokale-Modus
- Unterstützung für Benutzerebene jar-Cache
- Unterstützung für Blacklisting und Whitelisting Schweine Befehle
- Mehrere Leistungskorrekturen und debuggability Features
- Ein paar nicht-rückwärts-kompatible Schnittstelle Modifikationen wurden in dieser Version eingeführt, um Schwein Arbeit mit nicht verkleinern Motoren machen
Was ist neu in der Version 0.11.0:
- Diese Version enthält Datetype Datentyp, Rang, CUBE und ROLLUP Betreiber, Groovy udfs, kundenMinderer Schätzung, schemabasierte Tupel und HCatalog DDL-Integration.
Was ist neu in der Version 0.9.1:.
- Diese Version funktioniert mit Hadoop 0,20
Was ist neu in Version 0.6:
- Added Zebra als contrib Projekt. Siehe http://wiki.apache.org/pig/zebra
- Added UDFContext gibt UDFs einen Weg, um Informationen von vorne gehen zu Ende zurück und gibt UDFS Zugang zu JobConf im Backend.
- Added linke äußere Verknüpfung für Fragment Replikat anzuschließen.
- Added Fähigkeit, Auftragspriorität von Pig Latin eingestellt.
- Verbesserte Multi-Abfrage, mit zu arbeiten schließt sich in einigen Fällen.
- Überarbeitetes Speichermanager GC Overhead und Aus Haufen Ausfälle deutlich zu reduzieren.
- Added Accumulator-Schnittstelle für benutzerdefinierte Funktionen.
- Über 100 Verbesserungen und Bugfixes.
Anforderungen :
- Java 1.6.x oder höher
- Apache Hadoop 0.20.x oder höher
Kommentare nicht gefunden