Apache Hive

Apache Hive wurde zuerst als ein Apache Hadoop Teilprojekt zur Bereitstellung von Hadoop-Administratoren mit einem einfach zu, kompetent Abfragesprache für die Daten verwenden, entwickelt.
Aus diesem Grund wurde Hive von Anfang an entwickelt, um große Mengen an Informationen für jede Abfrage zu arbeiten und ist perfekt für große Datenbanken und Business-Umgebungen angepasst.
Werkzeuge für die einfache Beladung, Extraktion und Transformation der Daten enthalten, während benutzerdefinierte Datenstrukturen können auf eine breite Reihe von Datenformaten gezwungen werden.
Da es sich um eine Hadoop-Projekt der HDFS und HBase Projekte werden automatisch unterstützt.
HiveQL ist wahrscheinlich der beste Teil des Projekts und bietet eine einfache, innovative und effiziente Abfragesprache, aber auch in der Lage, Mapper und Reduzierungen in Situationen, wo das native SQL-Syntax kann nicht den gewünschten Daten zu erhalten.

Was ist neu in dieser Pressemitteilung:

• Unterstützung unkorrelierten Unterabfragen in der WHERE-Klausel
• NULL definiert, dass FORMAT Spezifikation Zeile hinzufügen
• Ccreate / Drop-Datenbank sollte Ein- / Ausgänge zu füllen und prüfen Parallelität und Benutzerberechtigung
• Unterstützung Spezifizierungs Maßstäblichkeit und Präzision mit Hive dezimal Typ
• Es werde Tez
• Eine explodieren Funktion, die die Position des Elements im Array
beinhaltet
• In char-Datentyp
• Erstellen Sie sammeln, UDF und stellen Evaluator wiederverwendbaren
• Erweitern Rekord Schriftsteller und ORC-Leser / Schreiber Schnittstellen zu Statistiken liefern
• Implementieren Statistiken Bereitstellung von ORC Autor und Leser Schnittstellen
• Annotate hive Betreiber Baum mit Statistiken aus Metastore
• Geben Streifenebene Spaltenstatistiken in ORC
• Unterstützung für Unterabfragen: verbieten Verschachtelung von Unterabfragen
• Unterstützung für Unterabfragen: ermöglichen Abfrage Ausdrücke in having-Klausel
• Subquery-Unterstützung: weitere Tests
• Native Parkett Unterstützung in Hive
• Hive Lage sein sollte, Kopf- und Fußzeilen zu überspringen, wenn das Lesen von Daten-Datei für eine Tabelle werden
• DATE, TIMESTAMP, DECIMAL hinzufügen, CHAR, VARCHAR-Typen unterstützen in HCAT
• Verwenden map-Verknüpfungshinweis zum Zwischenergebnis-Cache
• In UDF, um Abstand zwischen geographischen Koordinaten zu berechnen

Was ist neu in der Version 1.2.0:

• Unterstützung unkorrelierten Unterabfragen in der WHERE-Klausel
• NULL definiert, dass FORMAT Spezifikation Zeile hinzufügen
• Ccreate / Drop-Datenbank sollte Ein- / Ausgänge zu füllen und prüfen Parallelität und Benutzerberechtigung
• Unterstützung Spezifizierungs Maßstäblichkeit und Präzision mit Hive dezimal Typ
• Es werde Tez
• Eine explodieren Funktion, die die Position des Elements im Array
beinhaltet
• In char-Datentyp
• Erstellen Sie sammeln, UDF und stellen Evaluator wiederverwendbaren
• Erweitern Rekord Schriftsteller und ORC-Leser / Schreiber Schnittstellen zu Statistiken liefern
• Implementieren Statistiken Bereitstellung von ORC Autor und Leser Schnittstellen
• Annotate hive Betreiber Baum mit Statistiken aus Metastore
• Geben Streifenebene Spaltenstatistiken in ORC
• Unterstützung für Unterabfragen: verbieten Verschachtelung von Unterabfragen
• Unterstützung für Unterabfragen: ermöglichen Abfrage Ausdrücke in having-Klausel
• Subquery-Unterstützung: weitere Tests
• Native Parkett Unterstützung in Hive
• Hive Lage sein sollte, Kopf- und Fußzeilen zu überspringen, wenn das Lesen von Daten-Datei für eine Tabelle werden
• DATE, TIMESTAMP, DECIMAL hinzufügen, CHAR, VARCHAR-Typen unterstützen in HCAT
• Verwenden map-Verknüpfungshinweis zum Zwischenergebnis-Cache
• In UDF, um Abstand zwischen geographischen Koordinaten zu berechnen

Was ist neu in der Version 1.1.0:

• Unterstützung unkorrelierten Unterabfragen in der WHERE-Klausel
• NULL definiert, dass FORMAT Spezifikation Zeile hinzufügen
• Ccreate / Drop-Datenbank sollte Ein- / Ausgänge zu füllen und prüfen Parallelität und Benutzerberechtigung
• Unterstützung Spezifizierungs Maßstäblichkeit und Präzision mit Hive dezimal Typ
• Es werde Tez
• Eine explodieren Funktion, die die Position des Elements im Array
beinhaltet
• In char-Datentyp
• Erstellen Sie sammeln, UDF und stellen Evaluator wiederverwendbaren
• Erweitern Rekord Schriftsteller und ORC-Leser / Schreiber Schnittstellen zu Statistiken liefern
• Implementieren Statistiken Bereitstellung von ORC Autor und Leser Schnittstellen
• Annotate hive Betreiber Baum mit Statistiken aus Metastore
• Geben Streifenebene Spaltenstatistiken in ORC
• Unterstützung für Unterabfragen: verbieten Verschachtelung von Unterabfragen
• Unterstützung für Unterabfragen: ermöglichen Abfrage Ausdrücke in having-Klausel
• Subquery-Unterstützung: weitere Tests
• Native Parkett Unterstützung in Hive
• Hive Lage sein sollte, Kopf- und Fußzeilen zu überspringen, wenn das Lesen von Daten-Datei für eine Tabelle werden
• DATE, TIMESTAMP, DECIMAL hinzufügen, CHAR, VARCHAR-Typen unterstützen in HCAT
• Verwenden map-Verknüpfungshinweis zum Zwischenergebnis-Cache
• In UDF, um Abstand zwischen geographischen Koordinaten zu berechnen

Was ist neu in der Version 1.0.0:

• Unterstützung unkorrelierten Unterabfragen in der WHERE-Klausel
• NULL definiert, dass FORMAT Spezifikation Zeile hinzufügen
• Ccreate / Drop-Datenbank sollte Ein- / Ausgänge zu füllen und prüfen Parallelität und Benutzerberechtigung
• Unterstützung Spezifizierungs Maßstäblichkeit und Präzision mit Hive dezimal Typ
• Es werde Tez
• Eine explodieren Funktion, die die Position des Elements im Array
beinhaltet
• In char-Datentyp
• Erstellen Sie sammeln, UDF und stellen Evaluator wiederverwendbaren
• Erweitern Rekord Schriftsteller und ORC-Leser / Schreiber Schnittstellen zu Statistiken liefern
• Implementieren Statistiken Bereitstellung von ORC Autor und Leser Schnittstellen
• Annotate hive Betreiber Baum mit Statistiken aus Metastore
• Geben Streifenebene Spaltenstatistiken in ORC
• Unterstützung für Unterabfragen: verbieten Verschachtelung von Unterabfragen
• Unterstützung für Unterabfragen: ermöglichen Abfrage Ausdrücke in having-Klausel
• Subquery-Unterstützung: weitere Tests
• Native Parkett Unterstützung in Hive
• Hive Lage sein sollte, Kopf- und Fußzeilen zu überspringen, wenn das Lesen von Daten-Datei für eine Tabelle werden
• DATE, TIMESTAMP, DECIMAL hinzufügen, CHAR, VARCHAR-Typen unterstützen in HCAT
• Verwenden map-Verknüpfungshinweis zum Zwischenergebnis-Cache
• In UDF, um Abstand zwischen geographischen Koordinaten zu berechnen

Was ist neu in der Version 0.8.1:

• Tools zur einfachen Datenextrakt aktivieren / Transformation / Laden (ETL).
• Ein Mechanismus, um die Struktur auf einer Vielzahl von Datenformaten zu verhängen.
• Der Zugriff auf Dateien entweder direkt in Apache HDFS (TM) oder in anderen Datenspeichersystemen wie Apache HBase (TM) gespeichert.
• Abfrageausführung über MapReduce.

Was ist neu in der Version 0.8.0:

• Tools zur einfachen Datenextrakt aktivieren / Transformation / Laden (ETL)
• Ein Mechanismus, um die Struktur auf einer Vielzahl von Datenformaten auferlegen
• Der Zugriff auf Dateien entweder direkt in Apache HDFS (TM) oder in anderen Datenspeichersystemen wie Apache HBase (TM)
gespeichert
• Abfrageausführung über MapReduce

Was ist neu in der Version 0.7.1:

• Bugs:
• Exception auf Windows bei Verwendung des JDBC-Treiber. & quot; IOException:. Das System nicht finden können den Pfad spezifizierte & quot;
• Schemaerstellungsskripts sind unvollständig, da sie weglassen Tische, die speziell für Datanucleus sind.
• Verbesserungen:
• Erhöhen Sie diverse Fehlermeldungen.
• Rück richtige Major / Minor-Versionsnummern für JDBC-Treiber Hive.
• Fügen Sie den HivePreparedStatement Umsetzung auf Basis der aktuellen HIVE unterstützten Datentyp.
• Aufgaben:
• Hive in Maven.
• Geben Sie Metastore Upgrade-Skripte und Standardschemas für PostgreSQL.

Was ist neu in der Version 0.7.0:

• Neues Feature:
• Authorization Infrastruktur für Hive
• Implementieren Indexing in Hive
• In reflektieren () UDF für reflektierende Aufruf von Java-Methoden
• Hive Typeinfo / Object zur Union zu unterstützen (neben struct, Array und Karte)
• Implementieren GenericUDF str_to_map
• Patch zur Unterstützung HAVING-Klausel in Hive
• Verfolgen Sie die Verknüpfungen, die umgeschichtet zur Karte-Join automatisch werden
• Rufen Häufigkeit und Dauer-Kennzahlen für HiveMetaStore via JMX
• Pflegen Lastaccesstime im Metastore
• Verbesserung:
• Geben Sie Option, um eine Kopfzeile zu exportieren
• Unterstützung für unterschiedliche Auswahl an zwei oder mehr Spalten
• Beschreiben erweiterten Tabellen / partition Ausgang ist kryptisch
• fehlen einige JDBC-Funktionalität wie getTables, getColumns und HiveResultSet.get * Methoden, die auf Spaltennamen.
• Tippen auf Protokolle von untergeordneten Prozessen
• Unterstützung Filterpushdown gegen nicht-native Tabellen
• Ersetzen Sie Abhängigkeiten von HBase veraltet API
• In AbfrageID beim Sperren
• Update transident_lastDdlTime nur, wenn keine Angabe
• In mehr Debug-Informationen für hive Sperr
• HiveInputFormat oder CombineHiveInputFormat immer Sync-Blöcke von rcfile zweimal
• Lassen Sie sich die Zeit, die lokale Aufgabe nimmt
• Erstellen Sie eine neue Tierpfleger weise wenn retrying Schloss und weitere Informationen für Debug
• Fügen Sie eine Option, um Aufgabe zu überprüfen, führen map-beizutreten Möglichkeit, in nicht-lokalen Modus
• Weitere Debugging zur Verriegelung
• Fügen Sie eine Option in der dynamischen Partition Einsätze, um einen Fehler aus, wenn 0 Partitionen erstellt werden
• Bugs:
• & quot; LOAD DATA LOCAL INPATH & quot; schlägt fehl, wenn die Tabelle eine Datei mit dem gleichen Namen enthält bereits
• NULL nicht behandelt wird richtig mitmachen
• HiveInputFormat.getInputFormatFromCache & quot; Schwalben & quot; Ursache Ausnahme beim Werfen IOExcpetion
• Fortschritt In mitmachen und GroupBy
• Einfache UDAFs mit mehr als 1 Parameter Absturz auf leere Zeile query
• UDF-Feld () funktioniert nicht
• Dynamische Partition Einsätze links leere Dateien in Hadoop ungereinigte 0.17 lokalen Modus
• überspringen Gegen Update, wenn RunningJob.getCounters () gibt NULL

Was ist neu in der Version 0.5.0:.

• Lassen Sie Benutzer angeben serde für benutzerdefinierte Skripts
• In UDF UNHEX.
• Entfernen lzocodec Import aus FileSinkOperator.
• Treiber Nullpointerexception beim Aufrufen getResults ohne vorher Kompilieren.
• Performance-Verbesserung für die RC-Datei und ColumnarSerDe in Hive.