Test IAIT Talend Enterprise Data Integration Big Data Edition
Datenverarbeitung im ganz großen Stil
Arbeit mit Hive
Hive realisiert einen JDBC-Zugriff auf HadoopHiveSie Hadoop-SystemeHiveMeta-Daten" eine neue Datenbank-Verbindung zur vorhandenen Kunden-Datenbank an, die auf unserem Hadoop-Testsystem lag. Dazu war es ausreichend, als Datenbanktyp "Hive" zu selektieren, den Server und den Port anzugeben und auf "Check" zu klicken. Nach dem erfolgreichen Test der Datenbank-V
In den Konfigurations-Optionen der Hive-Datenbank-Verbindung findet sich unter anderem ein "Query"-Feld, in das SieDazu trugen wir die Abfrage
"select count(*) from {Datenbank} where city like '%Hannover%'"
in das Query-Feld der Datenbankverbindung ein, verwendeten als Ausgabe wieder ein tLowRow-ElementHive gestaltetePig.
Unser zweiter Hive-Job sollte die komplette Datenbank in eine Excel-Tabelle schreiben. Dazu passten wir die Abfrage in unserer Quell-Verbindung entsprechend an, selektierten statt des tLogRow-Elements ein "tFileOutputExcel"-Icon und gaben den Zie Ziel-Datei vor. HiveTalend
Der Verbindungsaufbau zu einer Hive-DatenbankPresSservice)
HBase
HBaseHadoop-UmgebungHBase-Datenbank auf unserem Hadoop-System
tMap-Element, um die Daten aus der Datei auszufiltern, die in der Datenbank landen sollten. Zum Schluss erzeugten wir ein Icon vom Typ "tHBaseOutput". Dieses verlangt als Konfigurations-Angaben im Wesentlichen den Hadoop-Typ, den Servernamen, den Table-N
HBase-Umgebung auf unsere Systemkonsole aus. Hierzu kam ein Element namens "tHBaseInput" zum Einsatz, das sich analog zu der Output-KtLogRow-Icon und die Verbindung zwischen den beiden Elementen schlossen die Job-Konfiguration ab. Nach dem Start des Jobs erschienen die Daten wir erwartet auf unserem Bildschirm. Benutzer von HBaseTalend Enterprise Data Integration und ihrer Datenbank ohne Schwierigkeiten von statten geht.
Hive. SmartmediaPresSservice)
Kommentar hinzufügen