tom's networking guide
 
Anzeige
31. 10. 2012
4.5/5
Dr. Götz Güttich
Tom's Networking Guide

Test IAIT Talend Enterprise Data Integration Big Data Edition

Datenverarbeitung im ganz großen Stil

Talend bietet mit "Talend Enterprise Data Integration "eine leistungsfähige Lösung zum Einbinden Umwandeln, Bewegen und Synchronisieren von Daten. Dabei können die bearbeiteten Informationen nicht nur von einer Vielzahl beliebiger unterschiedlicher Quell-Systeme kommen, sondern lassen sich auch an eine entsprechend große Menge von Zielsystemen verteilen. Dafür stehen mehr als 450 Daten-Konnektoren zur Verfügung. Die "Big Data Edition" der Software beherrscht zusätzlich noch die Zusammenarbeit mit Hadoop und den dazugehörigen Datenbanken beziehungsweise Komponenten wie beispielsweise HBase, HCatalog, HDFS, Hive, Oozie und Pig. Das IAIT hat sich angesehen, wie sich das System in der Praxis nutzen lässt.
Talend Enterprise Data Integration Big Data Edition
.

Big Data - den Datenwust verarbeiten

Big Data ist nach der Cloud derzeit eines der meistverwendeten Stichworte in der IT-Branche. Wenn heute von Big Data gesprochen wird, so meinen die beteiligten IT-Spezialisten damit meist eine Sammlung von Datensätzen, die so groß und komplex sind, dass sie sich mit normalen Datenverwaltungs-Werkzeugen nicht mehr bearbeiten lassen. Diese riesigen Datenmengen entstehen zum Teil maschinell durch das Erzeugen von Protokollen, Logs, Kameraaufnahmen und ähnlichem, zum Teil aber auch durch genaue Analysen des Kundenverhaltens (beispielsweise Verbrauchsdaten), wissenschaftliche Untersuchungen (wie etwa im LHC) oder durch das Zusammenführen mehrerer unterschiedlicher Datenquellen, die bereits existieren. Nicht zuletzt durch die zunehmende Verlagerung von Daten in die ? wie auch immer geartete ? Cloud ist es immer einfacher und gleichzeitig wichtiger geworden Daten zu konsolidieren und analysieren.

Die genannten Daten ? deren Volumen teilweise in die Petabytes und Exabytes geht - lassen sich oftmals nur schwer auswerten, da traditionelle Datenbanksysteme hier bezüglich ihrer Leistungsfähigkeit an Grenzen stoßen. Die Analysen von Big Data laufen daher auf anderen Systemen ab, die dazu in der Lage sind, parallel auf tausenden von Rechnern zu arbeiten um die Last entsprechend zu verteilen. Die Ergebnisse der Auswertung landen dann wieder an einer zentralen Stelle.

Die derzeit am weitesten verbreitete Lösung für die Arbeit mit Big Data ist Hadoop. Dabei handelt es sich im Prinzip um ein verteiltes Dateisystem auf Open-Source-Basis, das die gespeicherten Informationen in mehrere Datenblöcke aufsplittet und diese Datenblöcke dann auf mehrere Systeme im Netz (dem Hadoop-Cluster) verteilt. Auf diese Weise stellt Hadoop gleichzeitig Hochverfügbarkeit und Redundanz sicher. Die Dateiablage und das Bearbeiten von Anfragen werden durch einen so genannten Master-Node durchgeführt.

Talend Enterprise Data Integration

Mit Hadoop steht eine sehr leistungsfähige Lösung für die Arbeit mit Big Data zur Verfügung. Das Produkt kann externe Anfragen annehmen, auf die einzelnen Rechner im Cluster verteilen und parallel auf den einzelnen Nodes durchführen. Die dazugehörigen Ergebnisse landen dann wieder an einer zentralen Stelle und lassen sich von dort aus auswerten.

Um die Vorteile von Hadoop wirklich nutzen zu können, muss allerdings eine Möglichkeit existieren, die vorhandenen Daten in Hadoop abzulegen beziehungsweise nach der Verarbeitung wieder aus dem Open Source-System herauszuholen. Hier kommt die Big Data Edition der Talend Enterprise Data Integration ins Spiel. Bei Data Integration handelt es sich - wie oben schon skizziert - um eine Lösung, die Daten aus beliebigen Quellen einlesen kann, nach Vorgaben der Benutzer bearbeiten und anschließend wieder exportieren kann. Mit dem Tool ist es im einfachsten Fall möglich, CSV-Dateien einzulesen, bestimmte Felder wie zum Beispiel Name oder Adresse daraus zu selektieren und diese dann in eine Excel-Datei zu exportieren. Der Leistungsumfang geht jedoch noch viel weiter und reicht von der Arbeit mit Business-Intelligence-Lösungen wie Jaspersoft über SAP, AmazonRDS, Salesforce und ähnlichem bis hin zu diversen Datenbanken wie DB2 oder Informix und eben Hadoop.

Nach dem Programmaufruf begrüßt Talend Enterprise Data Integration die Anwender mit einem Willkommensbildschirm. (©Smartmedia PresSservice)

Leserkommentar

Keine Kommentare

Kommentar hinzufügen

* - Pflichtfeld

*





*
*
Rubriken
Anzeige
Anzeige
Anzeige
Anzeige
Mehr zum Thema
Test Datacore SANsymphony V R8
Mit SANsymphony-V bietet Datacore eine leistungsfähige Software-Plattform zum Bereitstellen, Teilen, Migrieren, Replizieren, Erweitern, Konfigurieren und Upgraden von Speicher ohne Verzögerungen und Downtime. IAIT hat sich angesehen, was die aktuelle Vers [mehr]
Test Entuity Eye of the Storm 2011 Enterprise
Je umfangreicher die Netzwerke, desto schneller verlieren Administratoren ohne geeignete Tools den Überblick. Entuity Eye oft he Storm 2011 bietet verschiedene Methoden an, mit denen die bestehende Infrastruktur zumindest teil-automatisch erfasst werden k [mehr]
Test Kroll Ontrack PowerControls 6.0
Exchange- und Sharepoint-Server sind längst in vielen Unternehmen unverzichtbarer Bestandteil der Unternehmens-Infrastruktur. Die unabdingbaren Backup-Szenarien werden dabei aber oft vernachlässigt. Hauptsache es gibt ein Backup, wie erfolgreich sich Date [mehr]
Workshop Medienspeicherung und Verteilung
Eigene Videos, Digitalfotos und MP3-Song immer und überall hören und sehen, ohne langes Suchen durch zentrale Medienspeicherung und Medienabruf vom PC, TV-Gerät und Handy aus. [mehr]
Test CA ARCserv Backup r12
Die jüngste Version der Backup-Software für Unternehmen weist im Management- und Sicherheitsbereich viele neue Funktionen auf. Was das Produkt in der Praxis leistet, hat sich IAIT angesehen. [mehr]
High-Speed-PLC-Modems der 200-mbps-Klasse
Powerline-Modems der jüngsten Generation versprechen Triple-Play-taugliche Heimvernetzung ohne neue Kabel ? die Hausstromleitung genügt. Wir haben getestet, wie viele der versprochenen 200 MBit/s in der Realität durch Stromnetz flitzen und ob Video- und [mehr]
Anzeige