direkt zum Inhalt springen

direkt zum Hauptnavigationsmenü

Sie sind hier

TU Berlin

Inhalt des Dokuments

SpaDa - Adaptive Anfragekompilierung für Datenstromsysteme

"Adaptive Anfragekompilierung für Datenstromsysteme" ist ein Teilprojekt des DFG-Schwerpunktprogramms "SPP 2037:  Skalierbares Datenmanagement für zukünftige Hardware".

Die Verarbeitung von Echtzeitdatenströmen ermöglicht die kontinuierliche Analyse von großer Datenmengen, um schnellstmöglich auf bestimmte Ereignisse reagieren zu können. In den letzten Jahren ist diese Art der Datenverarbeitung zu einer Kerntechnologie in vielen modernen Datenverarbeitungsanwendungen geworden und ermöglicht zum Beispiel das Analysieren von Besucherströmen auf Webseiten oder die Überwachung von Maschinen im Bereich Industrie 4.0. Für diese Anwendungsfälle wurden in den letzten Jahren eine Vielzahl von Datenstromverarbeitungssystemen entwickelt (unter anderem Flink und Spark). Jedoch zeigt aktuelle Forschung, dass diese Systeme die Ressourcen von modernen Rechnern nur sehr ineffizient ausnutzen. Dies ist hauptsächlich bedingt durch die folgen drei Aspekte. Erstens werden die individuellen Hardwareeigenschaften nur unzureichend für Optimierungen in Betracht gezogen. Zweitens variieren die Dateieigenschaften über die Laufzeit einer Verarbeitungsanwendung häufig stark, was die Effizienz von einzelnen Operationen beeinflussen kann. Drittens kombinieren Verarbeitungsprogramme oft grundlegend verschiedene Datenverarbeitungsoperationen aus verschieden Programmiersprachen sehr ineffizient und verursachen so einen hohen Aufwand für Datentransfer. In diesem Projekt erforschen wir neuartige Ansätze zur Verarbeitung von Datenströmen, um effizient die Ressourcen moderner Rechner ausnutzen zu können. Zum Erreichen dieses Ziels, entwickeln wir ein neuartiges Datenstromverarbeitungssystem, welches den folgenden drei Entwurfsprinzipien folgt. Erstens nutzen wir Codegenerierung als grundlegende Technologie, um die zur Verfügung stehende Hardware-Ressourcen effizient ausnutzen zu können. Zweitens entwickeln wir eine abstrakte zwischen Repräsentation welche es unserem System ermöglicht, verschiedene Anfragesprachen und Paradigmen gesamtheitlich zu verarbeiten und zu optimieren. Drittens legen wir Adaptivität als grundsätzliches Paradigma zugrunde, sodass unser System automatisch auf verändernde Dateneigenschaften reagieren kann.

Weitere Informationen finden Sie unter: https://gepris.dfg.de/gepris/projekt/447268056.

 

Projektlaufzeit: 11/08/2020 - 31/07/2023

Projektleitung: Prof. Dr. Volker Markl

Mittelgeber: Deutsche Forschungsgemeinschaft (DFG)

Zusatzinformationen / Extras

Direktzugang:

Schnellnavigation zur Seite über Nummerneingabe

Ansprechpartner

Prof. Dr. Volker Markl
Email:
prof[at]dima.tu-berlin