Vorträge

Triff uns auf einer Konferenz!

Verschaffe dir einen Überblick, auf welchen Events unsere codecentric-Kollegen als Referenten vertreten sind. Wir würden uns freuen, dich auf einer Konferenz persönlich begrüßen zu dürfen.

Data Streaming testgetrieben

24.09.2019

Java Forum Nord

HCC Hannover Congress Centrum, Theodor-Heuss-Platz, Hanover, Germany

Zur schnellen Verarbeitung von großen Datenmengen steht eine Reihe von technischen Möglichkeiten zur Verfügung wie etwa die Frameworks Apache Spark, Apache Flink oder Google Dataflow. Bei einem Wechsel auf eine andere dieser Engines müssen allerdings neue APIs gelernt und letztlich Anwendungen neu geschrieben werden.

Apache Beam ist mit dem Versprechen angetreten, ein einheitliches Programmiermodell für Batch- und Streaming-Daten zu bieten, das mit mehreren Programmiersprachen nutzbar und auf vielen Execution Engines lauffähig ist.

In dieser von Tests geleiteten hands-on Präsentation lernen die Teilnehmer die wesentlichen Konzepte von Data Streaming Pipelines kennen, erhalten einen ersten Eindruck von der Beam API in Java, erleben dabei auch einige Unzulänglichkeiten und Fallstricke und bekommen eine Vorstellung davon, wie testbare verteilte Data Pipelines erstellt werden können.

Wir starten mit einem einfachen dateibasierten Batchprogramm und Java 8 Streams und sehen erste Unterschiede zur verteilten Verarbeitung mit Apache Beam, gerade auch was die Tests angeht. Dabei lernen wir die Unterstützung durch Beam beim Zugriff auf I/O Infrastrukturen schätzen. Beim Wechsel zu echtem Streaming kommen Fragestellungen rund um die Bildung von konkreten Zeitfenstern bei der Analyse von kontinuierlichen Datenströmen hinzu. Dann schauen wir uns an, was bei einem Umstieg auf eine andere Runtime Execution Engine zu beachten ist. Abschließend werfen wir zum Vergleich einen Blick auf Spotify Scio, eine Implementierung der Beam API in Scala.

Thorsten BrunzendorfThorsten Brunzendorf