gms | German Medical Science

Lernziele:

• Kennenlernen der opensource Lösung Elasticsearch für Such- und Analysebedarfe im Big Data Umfeld
• Einführung in die Integration von Elasticsearch in Softwarelandschaften
• Nutzung von Elasticsearch-Community-Tools zur Suche, Analyse und Erstellung von Daten-Dashboards
• Einführung in den skalierbaren Betrieb von Elasticsearch

Bedarf nach rascher Durchsuchung von großen Datenmenengen: Die medizinische Informatik stellt WissenschaftlernInnen im medizinischen Umfeld Dokumentationssysteme, wie etwa elektronische Laborbücher oder Patientenregister, bereit. Diese legen Forschungs- sowie Metadaten in Datenbanken, Dateisystemen und Objektspeichern ab. Möchte man diese strukturierten und unstrukturierten Datenmengen effizient auf einer Plattform ablegen, um die Recherche und Analyse der Daten durch WissenschaftlerInnen zu unterstützen, so ergeben sich mit bisheriger Technik einige Herausforderungen in Bezug auf die Handhabung großer Datenmengen [1]. Standardmäßig werden hierbei Volltext-Indexe in SQL-Datenbanken genutzt. Diese sind jedoch an eine bestimmte Struktur der Daten, z.B. in Form eines ER-Modells oder eines XML-Schemas, fest gekoppelt. Daher erfordert die Integration weiterer Datenquellen die Anpassung von Schemas und oftmals die Konvertierung von Daten – beides Aufgaben, die Sachverstand, Aufwand und Zeit in Anspruch nehmen [2]. Mit dem Aufkommen von Smart- und Big Data sind nun neue Paradigmen und Technologien hinzugekommen, die eine schnelle Durchsuchbarkeit und Analyse zusammen mit einem Plus an Flexibilität und Erweiterbarkeit hinsichtlich der Verarbeitung großer Datenmengen erlauben [3]. Das Tutorial erläutert inhaltlich die Funktionsweise und den Betrieb der Open Source Big Data Such- und Analyseplattform „Elasticsearch“ [4] auf Grundlage der gesammelten Projekterfahrungen der Gesellschaft für wissenschaftlichen Datenverarbeitung Göttingen (GWDG). Dazu wird der Blickwinkel der medizinischen Forschung, die momentan am Göttinger Sonderforschungsbereich 1002 „Modulatorische Einheiten bei Herzinsuffizienz“ stattfindet, als Startpunkt genommen [5]. Des Weiteren werden auch die Erfahrungen aus weiteren Projekten mit GWDG-Beteiligung zur digitalen Forschungsinfrastruktur herangezogen, die ebenfalls Elasticsearch in ihrer technischen Realisierung verwenden.

Funktionen von Elasticsearch: Unter Einsatz der Big Data Paradigmen stellt Elasticsearch eine verteilte Such- und Analyseplattform für große Datenbeständen dar. Elasticsearch tritt hierbei mit ähnlichen Zielen wie das Projekt Apache Solr [6] an, verfügt aber über verschiedene Plugins und Schnittstellen zur Anbindung von Datenbanken, Dateien, Webservices und Diensten, die es erlauben, Daten für die Suche und Analyse rasch zugänglich zu machen. Dabei ist die Realisierung komplexer Suchanfragen mit Facettierung genauso möglich, wie die Datei-Volltextsuche in bekannten Dateiformaten, wie XML, JSON, CSV, PDF oder Microsoft Office Dokumenten. Elasticsearch folgt bei der Indexierung von Daten und Metadaten dem aus dem NoSQL-Bereich bekannten Ansatz JSON-formatierter Dokumente, der mittlerweile auch Eingang in medizinische Dokumentationssysteme gefunden hat [7]. Um Lasten zu verteilen und Aufgabenbearbeitung zu be-schleunigen, kann Elasticsearch, wie für eine Big Data Software üblich, jederzeit auf weitere Server flexibel skaliert werden [8]. Durch diese horizontale Skalierung lassen sich auch redundante Hochverfügbarkeitslösungen realisieren, die in der medizinischen Forschung benötigt werden. Dank einer Multi-Mandanten-Unterstützung kann eine einzige Elasticsearch-Installation eine Vielzahl an Forschungsprojekten mit Suchfunktionen versorgen, sodass Ausgaben für Hardware effizient genutzt werden können. Für einen erfolgreichen Einsatz muss Elasticsearch als eine weitere Datensenke in die Software-Architektur aufgenommen werden. Vor allem die Integration von Daten zur Durchsuchbarkeit von Datenbeständen über die Grenzen einzelner Datenquellen hinweg bedarf der bekannten Techniken zur Datenintegration, wie sie bereits in der medizinischen Informatik Anwendung finden [9].

Elasticsearch im Einsatz: Als Technologie-Partner, Kompetenz- und Rechenzentrum bringt die GWDG in zahlreichen Projekten ihre Expertise und Entwicklungskompetenz in IT-Forschungsinfrastrukturen ein. Folglich konnte Elasticsearch in verschiedenen Szenarien erfolgreich in Bestandssysteme und Neuimplementierungen eingebracht werden. Da Elasticsearch viele Eigenschaften mit NoSQL-Datenbanken und Object Storages teilt, wurde 2012 mit der Entwicklung einer integrierten Forschungsdatenplattform bei der GWDG begonnen, die den Namen Common Data Storage Architecture (CDSTAR) trägt [10]. Diese vereint Object Storage, Elasticsearch Suchmaschinen-Technologie und Map-Reduce-Backends wie Apache CouchDB zu einer Forschungsdaten-Plattform. Der Göttinger Sonderforschungsbereich 1002 „Modulatorische Einheiten bei Herzinsuffizienz“ möchte ein zentrales Datenrepository errichten, das u.a. ein elektronisches Laborbuch anbindet und die Langzeitarchivierung von Teilen der im SFB gesammelten Daten ermöglicht. Für dieses Datenrepository setzt der SFB 1002 ebenfalls auf die von der GWDG entwickelte Lösung CDSTAR mit Elasticsearch als Suchmaschine. Mit ersten Ergebnissen ist hierbei Ende des dritten Quartals 2014 zu rechnen. Einen Schritt weiter ist man bereits in einem IT-Infrastrukturprojekt für Geisteswisschaftler in Göttingen, das mehrere hunderttausend XML-Datensätze umfasst. Hierbei wurde eine bestehende XML-Datenbankbasierte Suchmaschine durch Elasticsearch abgelöst. Als Ergebnis konnte trotz gestiegenen Datenvolumens die Leistungsfähigkeit der Suchfunktionen um einen Faktor >15 gesteigert werden. Gleichzeitig konnten die Ausfallzeiten durch den Einsatz von Elasticsearch gesenkt werden. Unter Einsatz von GWDG CDSTAR wurde im Dezember 2013 eine virtuelle Forschungsumgebung (VFU) für die Sozialwissenschaft realisiert, die eine kollaborative Nutzung sozialwissenschaftlicher Mikrodaten über die gesamte wissenschaftliche Leistungskette unterstützt. Dies erlaubt den Wissenschaftlern eine feingranulare und schnelle Recherche von relevanten Studien- und Forschungsdaten in einer Liferay-basierten Portalumgebung [11]. Somit bestehen bereits belastbare Erfahrungen beim Betrieb von Elasticsearch und der Implementierung von Big Data Such- und Analysefunktionen im Bereich virtueller Forschungsinfrastrukturen. Diese Erfahrungen der GWDG werden hierzu als Grundlage für das Tutorial genommen.