Beliebte Suchanfragen

Cloud Native

DevOps

IT-Security

Agile Methoden

Java

Hamburger Menu
HOMEPROJEKTE
//

Einführung der Fast-Data-Plattform SMACK zur performanten Datenanalyse

Audi Electronics Venture ist eine 100-prozentige Tochtergesellschaft der Audi AG, die ihr Hauptaugenmerk auf Vorentwicklungsleistungen für die Audi AG legt.

//

Ausgangssituation

Die AEV war auf der Suche nach einem Partner, der sie dabei unterstützt die Fast-Data-Plattform SMACK zur performanten Datenanalyse einzuführen, um Fahrzeugdaten mit Hilfe von Streams zu verarbeiten. Der SMACK Stack ist ein Ensemble aus verschiedenen Tools, die miteinander zu einer Big-Data-Plattform integriert werden. Der Name SMACK ist ein Akronym aus den Anfangsbuchstaben der Tools Apache Spark, Apache Mesos, Akka, Apache Cassandra und Apache Kafka.

//

Lösung

Um die unterschiedlichen SMACK-Komponenten auf die unterschiedlichen Rechner in einem Cluster zu installieren, eignet sich DC/OS hervorragend. DC/OS ist ein verteiltes Betriebssystem für 4 Rechenzentren und basiert auf dem Apache-Projekt Mesos. DC/OS verfügt über ein Repository, aus dem sehr einfach Komponenten wie Spark, Cassandra und Kafka installiert werden können.

Gemeinsam mit der AEV wurde innerhalb von nur wenigen Wochen ein vollständig lauffähiges DC/ OS-Cluster auf AWS bereitgestellt. Dabei wurde auf eine komplette Automatisierung der Plattform mit Terraform gesetzt. Terraform ist ein Werkzeug, mit dem sich die Infrastruktur bzw. ein ganzes Rechenzentrum in Code beschreiben und verwalten lässt. Der Terraform Code kann ausgeführt werden, um in AWS ein komplettes Rechenzentrum inklusive aller Komponenten, wie Netzwerke, Instanzen, Routing-Tabellen und Loadbalancer zu erstellen.

//

Ergebnis

Die Cluster-Erstellung kann mit einem Knopfdruck in einem Jenkins gestartet werden. Außerdem erfolgt im Jenkins eine Auditierung, wann, wer, welchen Job gestartet hat. Nach dem Starten des Jenkins-Job dauert es circa 30 Minuten bis der komplette SMACK Stack inklusive aller Ingest- und Digest-Applikationen installiert ist.

Logausgaben sind immer noch eine wichtige Quelle für Informationen über Anwendungen. Als Überwachungstool wurde deshalb der Elastic Stack eingeführt, um die Logdaten des verteilten Systems analysieren zu können. In einem SMACK-Cluster gibt es verschiedene Quellen wie Spark, Mesos, Akka, Cassandra und Kafka, an denen Logausgaben entstehen können.

Der Elastic Stack besteht aus Tools wie Elasticsearch, Logstash und Kibana. Elasticsearch wird für die Ablage der Logdaten benutzt. Außerdem ist es für die Volltextsuche sehr gut geeignet. Logstash kann Logdaten parsen und aus verschiedenen Quellen wie Dateien, aber auch Messaging-Systemen oder TCP/IP-Ports lesen und schreibt diese nach Elasticsearch. Mit Kibana können die Daten durchsucht oder auch grafische Auswertungen erzeugt werden. Das Zusammenspiel all dieser Tools macht es letztlich einfach Logdateien von mehr als 50 Rechnern einfach an einer zentralen Stelle zu analysieren.

Es wurden von der codecentric AG alle nötigen Jenkins-Jobs mit der Jenkins DSL geliefert, um das Deployment des DC/OS SMACK-Clusters vorzunehmen. Die AEV-Mitarbeiter wurden entsprechend geschult, um Letztere auch nach dem Experteneinsatz der codecentric AG nicht mit dem Betrieb des Clusters allein zu lassen.

Außerdem wurde zusammen mit der AEV exemplarisch ein Realtime Streaming Usecase erstellt, der Sensordaten verarbeitet und aufbereitet. Die Visualisierung erfolgt in einer Javascript-Anwendung. Um eine weitere Visualisierung zu bekommen, wurde weiterhin Zeppelin eingeführt. Zeppelin ist eine in den Browser integrierte Benutzeroberfläche, die über Notebook-ähnliche Fähigkeiten für Analysten und Datenwissenschaftler verfügt, damit sie ihre Daten interaktiv untersuchen und anspruchsvolle Datenanalysen durchführen können. Zeppelin kommt auch bei Amazon Web Services, JuJu, Hortonworks und Twitter zum Einsatz, um Daten zu analysieren.

quotation marks

Dank der hervorragenden Expertise der codecentric im Bereich Automatisierung und Big-Data Technologien ist es gelungen, binnen kürzester Zeit einen Fast Data Stack in Betrieb zu nehmen. Ein neues Release der entstandenen Plattform kann dank der starken Automatisierung binnen kürzester Zeit zur Verfügung gestellt werden.

David Schmitz
Lead Big Data Architekt, Audi Electronics Venture GmbH

Noch Fragen zum Projekt?

Bist du interessiert an einer individuellen Cloud-basierten Lösung für dein Unternehmen? Dann lass uns unverbindlich sprechen.

Fritz Gerhard

Fritz Gerhard

Ein Meeting, in dem über ein Projekt diskutiert wird
//
Weitere Projekte der codecentric AG

Informiere dich über weitere erfolgreiche Projekte, die wir mit unseren Kunden abgeschlossen haben. Vielleicht findest du hier Anregungen für einen Use Case in deinem Unternehmen.

//

Gemeinsam bessere Projekte umsetzen.

Wir helfen deinem Unternehmen.

Du stehst vor einer großen IT-Herausforderung? Wir sorgen für eine maßgeschneiderte Unterstützung. Informiere dich jetzt.

Hilf uns, noch besser zu werden.

Wir sind immer auf der Suche nach neuen Talenten. Auch für dich ist die passende Stelle dabei.