direkt zum Inhalt springen

direkt zum Hauptnavigationsmenü

Sie sind hier

TU Berlin

Inhalt des Dokuments

ICDE 2021 ehrt Forscher der TU Berlin mit Best-Paper-Award

Lupe

Die 37th IEEE International Conference on Data Engineering (ICDE) 2021 zeichnete das Paper "Efficient Control Flow in Dataflow Systems: When Ease-of-Use Meets High Performance" von sechs Forschern des Berlin Institute for the Foundations of Learning and Data (BIFOLD) mit dem Best-Paper-Award. Gábor E. Gévay, Jorge-Arnulfo Quiané-Ruiz und Volker Markl aus derm Fachgebiet Datenbaksysteme und Informationsmanagement (DIMA) an der TU Berlin wurden gemeinsam mit ihren Kollegen Tilmann Rabl, Sebastian Breß und Lorand Madai-Tahy während der Award-Session der Konferenz am 21. April 2021 geehrt.

In der modernen Datenanalytik wollen Unternehmen oft große Datenmengen analysieren. Ein Unternehmen möchte zum Beispiel das gesamte Netzwerk von Benutzerinteraktionen analysieren, um besser zu verstehen, wie seine Produkte genutzt werden. Die Skalierung der Datenanalyse auf große Datenmengen wird in einer Vielzahl von Kontexten benötigt. Moderne Datenfluss-Systeme wie Apache Flink und Apache Spark werden häufig verwendet, um diese Anforderung zu erfüllen. Die für die Datenanalyse verwendeten Algorithmen werden jedoch immer komplexer. Solche komplexen Algorithmen sind oft iterativer Natur, was bedeutet, dass sie die Ergebnisse durch wiederholte Ausführung einer Berechnung schrittweise verfeinern. Ein bekanntes Beispiel ist der PageRank-Algorithmus, der für das Ranking der Wichtigkeit von Knoten in einem Netzwerk verwendet wird, z. B. für das Ranking von Websites in den Google-Suchergebnissen. Beide Datenflusssysteme Apache Flink und Apache Spark haben Schwächen bei der Implementierung iterativer Algorithmen: Sie sind entweder schwer zu bedienen oder haben eine suboptimale Leistung.

In diesem Beitrag wird ein neues System vorgestellt, das eine einfach zu verwendende Sprache mit effizienter Ausführung kombiniert. Es ist in der Lage, die Sprache einfach zu halten, indem es sich zusätzlich zu der Forschungsliteratur für Datenbanken und verteilte Systeme, auf denen frühere Systeme beruhen, auch auf Techniken aus der Forschungsliteratur für Programmiersprachen stützt. Die einfachere Sprache macht es den Anwender*innen leicht, fortgeschrittene Analysen auf großen Datensätzen durchzuführen. Dies ist wichtig für Datenwissenschaftler*innen, die sich dann auf die Analysen konzentrieren können, anstatt Expert*innen für die interne Funktionsweise der Systeme werden zu müssen.

Die jährlich stattfindende IEEE International Conference on Data Engineering (ICDE) ist die führende IEEE-Konferenz, die sich mit Forschungsfragen zu Design, Aufbau, Verwaltung und Auswertung fortschrittlicher datenintensiver Systeme und Anwendungen beschäftigt. Seit über drei Jahrzehnten ist die IEEE ICDE ein führendes Forum für Forscher, Praktiker, Entwickler und Anwender, um neueste Ideen zu erforschen und Techniken, Werkzeuge und Erfahrungen auszutauschen.

> Preprint "Efficient Control Flow in Dataflow Systems: When Ease-of-Use Meets High Performance" [PDF] herunterladen

Zusatzinformationen / Extras