Apache Kafka

Mehr als ein Message Broker

Echtzeit-Verarbeitung großer Datenmengen

Steigende Datenmengen und die Anforderungen, diese in „Echtzeit“ zu verarbeiten, stellen in vielen Unternehmen neue Anforderungen an Messaging Systeme. Bei LinkedIn führten diese Anforderungen zu einer Neuentwicklung, die 2011 als „Apache Kafka“ an die Apache Software Foundation (ASF) übergeben wurde und sich seither steigender Popularität erfreut.

Zur Entwicklung von Apache Kafka

Anfangs handelte es sich bei Kafka um einen verteilten Publish-Subscribe Message Broker, der Hochverfügbarkeit, niedrige Latenzen und horizontale Skalierbarkeit bot. 2014 verließen die ursprünglichen Entwickler LinkedIn und gründeten die Firma Confluent, die unter dem Schirm der ASF die Weiterentwicklung Kafkas von einem reinen Message Broker zu einer Streaming-Plattform vorantreibt.

Vom Broker zur Streaming-Platform

Neben dem Broker, der weiterhin das Herzstück jeder Kafka-Architektur ist, gibt es mittlerweile zwei weitere Plattform-Komponenten. „Kafka Connect“ dient der Integration von Kafka und externen Systemen wie z.B. Apache Cassandra oder Elasticsearch.

„Kafka Streams“ ist eine API, mit der Datenströme von Kafka zustandslos oder zustandsbehaftet verarbeitet werden können – mit Streams tritt Kafka in Konkurrenz zu Frameworks wie Apache Flink oder Apache Spark.

Kafka wird beispielsweise von LinkedIn Twitter, Netflix, Spotify oder PayPal eingesetzt

Kafka wird von vielen namhaften Unternehmen verwendet, die große Datenmengen in Echtzeit verarbeiten müssen.

 

Wie können wir Ihnen helfen?

Von Confluent ausgebildete codecentric-Experten unterstützen Sie gerne beim Entwurf, der Umsetzung oder dem Review von Kafka-basierten Lösungen.

Nehmen Sie Kontakt mit uns auf

Ansprechpartner:

Stefan Siprell
Standortleiter Karlsruhe

Zum Experten-Profil