Inzwischen häufen nicht nur Forschungsinstitutionen, sondern auch Unternehmen riesige Datenmengen an. Traditionelle Datenbanksysteme sind mit diesen oft überfordert. Brauchbare Werkzeuge wiederum enttäuschten bisher vor allem bei der Suche in „Big Data“. Saarbrücker Informatiker haben jetzt einen Ansatz entwickelt, mit dem man sehr schnell riesige Datenbestände nach komplexen Informationen durchsuchen kann. Ab 5. März stellen sie diesen auf dem saarländischen Forschungsstand auf der Computermesse Cebit in Hannover vor (Halle 9, Stand F34).
Unter „Big Data“ versteht man riesige Mengen an digitalen Informationen, die so groß und so komplex sind, dass sie sich nicht mehr mit einfacher Datenbanktechnologie verarbeiten lassen. Nicht nur wissenschaftliche Einrichtungen wie das Kernforschungszentrum CERN häufen solche Datenberge an. Auch Unternehmen wie Google und Facebook tun dies und werten diese aus, um strategische Entscheidungen besser treffen zu können. Wie erfolgreich solche Analysen sein können, bewies vergangenes Jahr ein Artikel der Tageszeitung New York Times. Er berichtete vom US-amerikanischen Unternehmen „Target“, das aufgrund des Kaufverhaltens einer jungen Frau bereits vor deren Vater von ihrer Schwangerschaft wusste.
Die dazu analysierte Datenmasse ist auf mehrere Dienstrechner (Server) im Internet verteilt. Die Suchfragen müssen also gleich an mehrere Rechner parallel gestellt werden. Herkömmliche Datenbanksysteme helfen nur bedingt weiter. Sie kommen mit der Datenmasse nicht klar oder überfordern ihre Anwender. Daher erfreuen sich die Datenanalysten umso mehr an den Werkzeugen, die auf dem frei verfügbaren Software-Framework Apache Hadoop basieren und dessen leistungsfähiges Dateisystem HDFS nutzen. Denn diese Systeme setzen keine hohe Expertise voraus.
„Wenn man sich ein wenig in der Programmiersprache Java auskennt, kommt man damit schon relativ weit“, erklärt Jens Dittrich, Professor für Informationssysteme an der Universität des Saarlandes. Allerdings, so Dittrich, könne Hadoop nicht so effizient Datenmengen durchsuchen und verwalten, wie es die auf Parallelisierung ausgelegten Datenbanksysteme bisher ermöglichten. Hier setzen er und seine Mitarbeiter an.
Suchanfragen bis zu 100 Mal schneller
Mit der von ihnen entwickelten „Hadoop Aggressive Indexing Library“, kurz HAIL, ermöglichen sie es, in HDFS gewaltige Datenmengen so zu speichern, dass Suchanfragen bis zu 100 mal schneller beantwortet werden. Sie nutzen dazu eine Methode, die sich in ihrer einfachen Form in jedem Telefonbuch findet: Um nicht der Reihe nach alle Namen durchgehen zu müssen, sind die Einträge im Telefonbuch nach Namen geordnet. Die Sortierung der Namen bildet einen sogenannten Index.
Einen solchen Index erzeugen die Saarbrücker Informatiker für sehr große Datenmengen, die sie auf diversen Servern verteilen. Im Gegensatz zum Telefonbuch sortieren sie die Daten aber nach mehreren Kriterien gleichzeitig und speichern die Daten mehrfach ab. „Je mehr Kriterien, desto vielfältiger können Sie suchen und desto höher ist die Wahrscheinlichkeit, dass Sie ihren Datensatz schnell finden“, erklärt Dittrich. „Für das Telefonbuchbeispiel würde das bedeuten, dass Sie gleich sechs verschiedene Telefonbücher haben. In jedem sind die Daten unterschiedlich angeordnet: entweder nach Name, Vorname, Straße, Postleitzahl, Vorort oder Telefonnummer. Mit dem richtigen Telefonbuch kann man dann Daten nach ganz unterschiedlichen Kriterien schnell finden.“
Der Clou ist: Seine Mitarbeiter und er haben die Erstellung dieser vielfältig einsetzbaren Indexe so organisiert, dass kein zusätzlicher Aufwand entsteht. Und auch der hierfür zusätzliche Speicherbedarf ist je nach Datensatz gering.
(Universität des Saarlandes, 04.03.2013 – NPO)
