Java Magazin 07/16

Daten mit Kafka und Akka annehmen

Autor:

Vor der Analyse steht die Frage, wie Daten ins System kommen. Über die Jahre fanden hier verschiedene Technologien ihre Anwendung. Und so hat sich aus der Kombination von Apache Kafka mit einem reaktiven Framework mittlerweile ein Quasistandard entwickelt.
Einer der größten Irrtümer der IT ist das Denken in Durchschnittswerten. Wir sehen uns allzuoft genötigt, Systeme in Bezug auf eine durchschnittliche Last zu bewerten und unsere Rechenzentren entsprechen aus-zustatten. In der Realität werden wir jedoch genau mit dem Gegenteil konfrontiert: Lange Ruhephasen werden von extremer Aktivität unterbrochen. In der Big-/Fast-Data-Welt sind das Datenmengen im gehobenen Gigabyte- bis Terabytebereich. Offensichtliche Ursachen für solche Lastspitzen können sein, dass Ergebnisse von Batch Jobs eingespielt werden oder ein System nach Verbindungsverlust wieder online kommt und die Daten der letzten Stunden/Tage liefern möchte. Eine weitere Ursache kann eine Kampagne sein, die live geschaltet wurde und unerwartet hohes Datenaufkommen verursacht, oder ein Sensornetzwerk, das überraschend schnell wächst. Alle diese Szenarien haben eines gemeinsam: Die liefernden Systeme können ihre Ergebnisse normalerweise nicht längerfristig puffern. Was wir nicht annehmen können, ist somit verloren.

Vollständiger Artikel