heise developer 11/17

Effiziente Datenverarbeitung mit Kafka

Autor:

Auf heise developer hat unser Kollege Florian Troßbach einen Artikel über Effiziente Datenverarbeitung mit Kafkaveröffentlicht. Abstract des Artikels:

Kappa-Architekturen sind der nächste Evolutionsschritt im Fast-Data-Umfeld. Damit lohnt sich ein Blick darauf, wie Apache Kafka sich vom reinen Message-Broker zu einer Streaming-Plattform weiterentwickelt hat und wie man mit Kafka-Bordmitteln eine Kappa-Architektur aufbauen kann.

Durch die zunehmende Digitalisierung ist in vielen Unternehmen die Menge der täglich zu verarbeitenden Daten immens angestiegen, sodass in manchen Kreisen bereits Ende der 1990er Jahre der Begriff „Big Data“ fiel. Spätestens seit dem zweiten Jahrzehnt des 21. Jahrhunderts ist das Thema im Mainstream angekommen. Die ersten Big-Data-Plattformen orientierten sich an der bekannten Batch-Verarbeitung. Unternehmen haben die anfallenden Daten tagsüber gesammelt und nachts verarbeitet. Eine der am weitesten verbreiteten Plattformen für dafür ist Apache Hadoop mit den Hauptkomponenten HDFS (Hadoop Distributed File System, verteiltes Dateisystem) und MapReduce für die eigentlichen Batch-Jobs.

Den vollständigen Artikel können Sie auf heise developer lesen.

Vollständiger Artikel