Cloud-Native

Data & KI

Produktentwicklung

Resilienz & IT-Security

Leistungen

Arbeitsweise

Projekte

Berlin

Bielefeld

Dortmund

Erfurt

Frankfurt am Main

Hamburg

Karlsruhe

Leipzig

München

Münster

Nürnberg

Solingen

Stuttgart

Standorte

Blog

Softwerker

Fachmedien

Webinare

Events

Wissens-Hub

Unsere Kultur

Deine Entwicklung

Jobs

Karriere

Über uns

Aktuelles

Kontakt

International contact

Alle Standorte

Du hast Fragen oder möchtest dich mit mir austauschen? Gern - trag einfach deine Kontaktdaten ein.

Contact Us | Sub-Navi-Kontakt oder Zero Search Hits

Kontakt aufnehmen

Marketing & Community Management

Konntest du keine Einträge zu deinem Thema finden?  

Meetups, Stammtische, Hackathons, User Groups: codecentric ist weit mehr als die Summe unserer Mitarbeiter*innen und Projekte. Informiert euch, wo ihr uns treffen könnt.

Events und Vorträge von und mit codecentric

Events, Messen und Konferenzen von und mit codecentric

Lass uns austauschen – hier kannst du uns treffen:

Ort:

Accelerate

Agile Methoden

Archivierung

Backend

Big Data

CI/CD

Cloud

Cloud Native

Data Science

DevOps

Digitale Produktentwicklung

Frontend

Green IT

IIoT

Input-Management

IT-Security

Managed Services

Observability

Open Source

Softwarearchitektur

Softwareentwicklung

Testing

UX/UI

Themenfilter:

Weitere Infos

KI-Speeddating - In einer Stunde zum perfekten Match

KI-Speeddating

Mehr Infos

Exploring Generative AI and Unleashing Grafana Loki

Typischerweise sind bei Hackathons viele Soft- und Hardware-Entwickler zu finden, die innerhalb eines begrenzten Zeitraums versuchen, kreative und ungewöhnliche Lösungen in Form von Code und ersten Prototypen für vorher definierte Challenges zu erarbeiten. Beim BIE City Hackathon (<a href="http://www.bie-city.de" target="_blank">www.bie-city.de</a> ) der Open Innovation City Bielefeld und dem Digitalisierungsbüro der Stadt Bielefeld wurden davon abweichend auch insbesondere Nicht-Techies eingeladen, um die kollektive Intelligenz einer Stadt zu nutzen – zur Generierung und Findung von Ideen für die Herausforderungen einer Stadt im neuen Alltag mit COVID-19. Als Teilnehmerin und Mentorin konnte ich einige spannende Lösungsansätze in ihrer Entstehung begleiten. Die zu lösenden Probleme kamen aus den Bereichen Breitensport, Einzelhandel, Kunst und Kultur, öffentlicher Raum, Mobilität und Gastronomie.<h2>Die Challenge</h2>Mein eigenes Team hat die Herausforderung der Erkennung und Vermeidung von überfüllten Plätzen und einem verantwortungsvollen Miteinander bearbeitet. Überfüllte Plätze sind in der aktuellen Pandemie- und in den alltäglichen Situationen eine besondere Herausforderung für die Stadt und ihre BürgerInnen. Aktuell steigert ein hohes Menschenaufkommen auf begrenztem Raum das Ansteckungsrisiko mit COVID-19. Zudem wird aber auch die Bevölkerungszahl in Bielefeld über Corona hinaus zunehmen – der Platz der Stadt bleibt aber begrenzt, was auch eine generelle Verringerung der Aufenthaltsqualität an öffentlichen Plätzen zur Folge haben kann.<h2>Unsere Lösung</h2>Unsere Lösung überzeugte die Jury und zeichnete sie als eine der beiden Gewinner-Lösungen aus. Neben der Freude über das Preisgeld haben wir die Hoffnung, dass die Lösung, die wie folgt aussieht, zeitnah realisiert wird:<ul><li> Wir zählen Personen im Bereich der Innenstadt, sowie an relevanten Orten und Verkehrsknotenpunkten (Haltestellen ÖPNV, Marktplätze, etc.) mittels Sensorik.</li><li> Die Daten zur Personendichte werden dann in Form einer Heatmap mit zusätzlichen Informationen veröffentlicht, z. B. auf den offiziellen Seiten der Stadt Bielefeld (<a href="http://www.bielefeld.de" target="_blank">www.bielefeld.de</a> ) und Bielefeld Marketing (<a href="http://www.bielefeld.jetzt" target="_blank">www.bielefeld.jetzt</a> ). Dabei wird das Personenaufkommen mittels Ampelsystem abgebildet und es werden noch nicht so stark besuchte Alternativen (Orte, Routen, Veranstaltungen) vorgeschlagen, aber auch Prognosen über die zukünftige Entwicklung der Personenzahlen ausgegeben.</li><li>Zusätzlich werden die Informationen an relevanten Orten mit Displays zur Verfügung gestellt und die Daten zu überfüllten Plätzen werden auch in der App von moBiel, dem Anbieter des öffentlichen Nahverkehrs in Bielefeld, beim Suchen nach Verkehrsverbindungen angezeigt.</li></ul><a href="https://media.graphassets.com/1c84f5JmQF6ezVdvcRiC"><img src="https://media.graphassets.com/1c84f5JmQF6ezVdvcRiC" alt="bie city hackathon" width="455" height="304" /></a> Foto der Team-Leiter der beiden Sieger-Teams: rechts Helen Bielawa vom Team Sport, links Meike Wocken. (Foto: Open Innovation City). <h2>Umsetzung </h2>Generell basiert der Ansatz auf der Nutzung eines (inner)städtischen LoRaWans, welches die Sensoren zur Zählung der Menschen verbindet. LoRaWAN steht für Long Range Wide Area Network und ist eine energieeffiziente Funktechnologie für die Datenübertragung insbesondere von Sensoren, Zählern, oder anderen Messinstrumenten. Die reinen Zähldaten werden über ein Gateway des LoRaWans ans Backend übermittelt und stehen dort mittels Open Data API zur Verfügung, um z.B. dann auf den Webseiten in Form einer Heatmap dargestellt zu werden.<a href="https://media.graphassets.com/cWOrw5xOR8yrpDU7fMfc"><img loading="lazy" src="https://media.graphassets.com/cWOrw5xOR8yrpDU7fMfc" alt width="371" height="209" /></a> Aber wie zählen Sensoren Personen? Wir als Menschen können das durch einfache Beobachtung feststellen, ob es sich um ein hohes Menschenaufkommen handelt. Für unseren Prototypen zur Umsetzung der Lösung haben wir uns für den Einsatz einer Kamera entschieden, die erkennen soll, ob viele Menschen auf einem Platz zusammen kommen. D.h. der Sensor besteht aus einem Mikrocontroller (z. B. Raspberry Pi) plus Kamera. Auf dem Mikrocontroller läuft dann eine lokale Bilderkennung (KI-basiert), die Fußgänger, Radfahrer, Kinderwagen etc. erkennt und zählt.Wichtig ist bei diesem Einsatz: Die Kamera speichert keine Bilder und gibt auch keine Bilder für die Auswertung weiter. Es ist keine Anbindung an das Internet oder eine Cloud erforderlich. Die Bilder werden sofort lokal ausgewertet und dabei analysiert die KI nur die einzelnen Pixel und deren Farbverläufe im Bild hinsichtlich bekannter Formen, die Menschen, Radfahrern oder Kinderwagen ähneln. Daher muss es bei dieser Lösung keine Datenschutzbedenken geben. Die einzigen Daten, die weitergegeben werden, sind die reinen Zählstände der erkannten Objekte und diese Datenweitergabe ist LoRaWan-basiert. Neben der Kameratechnik kann aber auch andere Sensortechnik zum Erkennen von Menschenmengen genutzt werden, beispielsweise Infrarot, Paxcounter oder Lichtschranken.<h2>Open Data</h2>Uns war es wichtig herauszustellen, dass unsere Lösung auch über die Corona-Zeit hinaus einen Mehrwert liefern wird. Wir legen viel Wert auf das Open-Data-Konzept, dass die Daten von jedermann verwendet werden können. Unsere Vision ist es, dass die Daten zu einer stärkeren Bürgerbeteiligung in der Stadtentwicklung führen werden, da transparent für alle Gruppen in der Stadt dargestellt wird, wie sich die Mobilität von Menschen ändert, aber auch wie Plätze angenommen werden. Somit können diese Daten (politische) Argumente liefern, mehr Platz für Menschen zu schaffen, z. B. durch die Sperrung von Straßen. Auch Geschäftsmodelle werden sich mithilfe dieser Daten ändern können, z. B. neue Angebote im Nahverkehr, dass beispielsweise der Einsatz von Bussen und Bahnen unter Berücksichtigung der wartenden Personen an den Haltestellen passiert.<a href="https://media.graphassets.com/oATZ8gTQat6Et8SRTuhg"><img loading="lazy" src="https://media.graphassets.com/oATZ8gTQat6Et8SRTuhg" alt="bie city hackathon" width="434" height="245" /></a> <h2>Die Orga des BIE City Hackathon</h2>Es war ein hundertprozentiger Remote-Hackathon, wobei neben dem Organisatoren-Team aber auch weitere Teilnehmer im Pioneers Club gehackt haben, dem Coworking Space, in dem auch das codecentric-Team Bielefeld sitzt. Dort saßen wir auf Distanz in den unterschiedlichen Konferenzräumen verteilt und haben gemeinsam mit weiteren remote arbeitenden Teammitgliedern an unseren Lösungen gearbeitet. Die Kooperation mittels Slack, Miro-Board und Zoom-Sessions hat sehr gut geklappt. Auf die zu erwartende hohe No-Show-Rate einer Remote-Veranstaltung hat das Orga-Team schnell und gut reagiert und hat die Teams passend zusammengestellt.Es wäre schön, wenn diese Lösung über den Hackathon hinaus weiterverfolgt würde und die Hackathon-Organisatoren Open Innovation City Bielefeld und das Digitalisierungsbüro der Stadt Bielefeld dafür Sorge tragen würden, dass nächste Schritte in Richtung Umsetzung gemacht werden. Vielen Dank an die Organisatoren für den Hackathon und an mein Team Kim Simon Kreutz, Jürgen Große-Ophoff und Lill Bretz für die tolle Zusammenarbeit!

BIE Spotty – unsere Lösung beim BIE City Hackathon

Head of Industrial Solutions

Schnelles Training eines Recommendation-Modells durch BigQuery ML

Machine Learning (ML) erzeugt erst dann realen Mehrwert, wenn es in Produktion benutzt wird. Allerdings kann die Zeitspanne zwischen der Entwicklung eines belastbaren Modells und dessen Einsatz frustrierend lange sein. Insbesondere in schnelllebigen Branchen ist ein solcher Zeitversatz ein Wettbewerbsnachteil. Die Ursachen hierfür sind häufig darin zu suchen, dass das eigentliche ML-Modell nur <a href="https://papers.nips.cc/paper/5656-hidden-technical-debt-in-machine-learning-systems.pdf" target="_blank">einen kleinen Teil der gesamten Pipeline ausmacht</a> :<img src="https://media.graphassets.com/hP48uaRSyWaQgShs8mCu" alt="BigQuery ML" width="891" height="313" />Unserer Erfahrung nach wird häufig unverhältnismäßig viel Aufwand in die „ML-Code“-Logik investiert. Stattdesssen sollten Ansätze, die eine höhere Entwicklungsgeschwindigkeit und damit einen höheren Business Value liefern können, mit Priorität verfolgt werden. In diesem Blogpost widmen wir uns einem der möglichen Werkzeuge dafür, nämlich demBigQuery ML (BQML) Dienst  auf der Google Cloud Platform (GCP).Wir sehen uns ein typisches Beispiel aus der Praxis an: Recommendation Engines. Ihr Einsatz auf dem Markt ist umfassend, bildet einen wichtigen Bestandteil für E-Commerce-Geschäftsmodelle und ist auch für viele andere Branchen relevant. Um einen direkten Mehrwert für digitale Produkte erzeugen, ist die Fähigkeit, eine solche Engine schnell und in hoher Qualität zu implementieren, zentral. Details zu der von uns verwendeten Implementierung lassen sich in unserem <a href="https://blog.codecentric.de/2021/07/bigquery-ml-schnelles-training-recommendation-modell/">technischen Post</a> zur gleichen Thematik nachlesen.Zusätzlicher Lesestoff zur generellen Thematik von ML in Produktion sind die Beiträge unserer Kollegen Marcel Mikl (<a href="https://blog.codecentric.de/2020/03/wie-man-data-science-projekte-nicht-in-die-poc-sackgasse-manoevriert/">„Wie man Data-Science-Projekte nicht in die PoC-Sackgasse manövriert“</a> , „<a href="https://blog.codecentric.de/2021/06/ki-daten-und-infrastruktur-ml-systeme-schnell-ende-zu-ende-verproben-und-umsetzen/">KI, Daten und Infrastruktur – ML-Systeme schnell Ende-zu-Ende verproben und umsetzen“</a> ), Roman Seyffarth (<a href="https://blog.codecentric.de/en/2019/03/machine-learning-experiments-production/">„Machine learning: Moving from experiments to production“</a> ) und Nils Bauroth, Sven Rediske & Lennart Küll („<a href="https://blog.codecentric.de/2021/05/schnelles-ki-prototyping-google-cloud-automl-vision/">Schnelles KI-Prototyping mit Google Cloud AutoML Vision</a> „).<h2>Die Business-Perspektive auf Recommendation Engines</h2>Das sichtbarste Ergebnis von Recommendation Engines sind die „Kunden, die diesen Artikel gekauft haben, haben auch X gekauft“-Bereiche in E-Commerce-Shops. Im Hintergrund werden berechnete Empfehlungen entweder direkt für den User berechnet oder in Datenbanken bereitgehalten. Um den Erfolg von Engines zu messen, kann beispielsweise Cross-/Up-Selling oder die Verweildauern bei Content-Providern herangezogen werden.Angewendet werden diese Engines auf zwei Arten von Daten. Implizites Feedback entsteht durch beobachtetes Verhalten von Kunden, also z. B. welche Produkte gekauft werden. Explizites Feedback liegt vor, wenn beispielsweise Sternebewertungen zur Verfügung stehen. Auch wenn explizites Feedback reichere Daten erzeugt, sind beide Szenarien valide Einsatzgebiete für Recommendation Engines.Uns ist keine umfassende Quantifizierung des Geschäftswerts von Recommender-Systemen bekannt. Die vorliegenden Fallstudien sprechen jedoch eine eindeutige Sprache. So <a href="https://insideretail.asia/2017/06/07/how-alibaba-uses-artificial-intelligence-to-change-the-way-we-shop/" target="_blank">berichtete Alibaba beispielsweise</a> von 20 % höheren Konversionsraten bei personalisierten Seiten im Vergleich zu nicht personalisierten Inhalten.Im Allgemeinen erzeugen Recommendation-Systeme drei weitreichende Vorteile für Unternehmen:<ul><li>Das Benutzererlebnis verbessert sich signifikant. Qualitativ hochwertige Empfehungen reduzieren die Suchzeit und machen den Besuch zu einem reibungslosen Erlebnis.</li><li>Empfehlungen unterstützen Cross- und Up-Selling. Kunden sehen direkt alternative und ergänzende Angebote zu den von ihnen in Betracht gezogenen Produkten.</li><li>Die Reaktionen der Kunden auf die Empfehlungen liefern wertvolles Feedback für die Produktentwicklung.</li></ul>Diese Vorteile müssen jedoch im richtigen Verhältnis zu den Entwicklungs- und Implementierungskosten stehen. Genau hier verspricht BQML eine starke Kostensenkung und damit einer Stärkung des Business Cases. Aber kann es dieses Versprechen auch einhalten? Wir bewerten in diesem Blogpost dafür zwei Aspekte: Time-to-Market und Kosten.<h3>Time-to-Market</h3>Unter Time-to-Market verstehen wir die Gesamtzeit von Beginn der Arbeit an einer Recommendation Engine bis zu dem Zeitpunkt, an dem ihre Ergebnisse in z. B. einem Onlineshop integriert sind:<img loading="lazy" width="422" height="151" src="https://media.graphassets.com/IYGaExfQ7qrDPWpZZ2Cr" alt="Time-to-Market" />Eine wichtige Zäsur sind dabei vorläufige Ergebnisse. Diese Ergebnisse müssen (und sollen) nicht perfekt sein,  ermöglichen aber eine frühzeitige Entscheidung über Fortführung oder Einstellung der Komponente. Sollte bei einer Fortführung das Modell eine ausreichende Qualität erreichen, um einen substanziellen Mehrwert zu erzielen, kann es als MVP in das digitale Gesamtprodukt integriert werden.Aus einer Geschäftsperspekte sollten zwei Aspekte besonders bedacht werden. Je kürzer die Zeit bis zu ersten Ergebnissen, desto geringer das anfängliche Investitionsrisiko. Je schneller vielversprechende erste Ergebnisse in ein MVP überführt werden können, desto höher der Wert über die gesamte Laufzeit. Zusätzliche Verbesserungen geschehen dann vor dem Hintergrund bereits realisierten Mehrwerts.<h3>Kosten</h3>Natürlich lässt sich keine allgemeine Kostenschätzung seriös abgeben. Stattdessen fokussieren wir uns auf die zwei größten Kosten-Komponenten einer in BQML umgesetzen Lösung:<ol><li>Die Preisstruktur der Komponenten, die auf GCP benötigt werden.</li><li>Die Arbeitskosten für die Implementierung, Warung und Aktualisierung des Systems. Dieser Aspekt ergibt sich aus der vorhandenen Qualifikation und notwendigen Arbeitszeit der eingesetzen Mitarbeiterinnen.</li></ol><h2>Evaluation von BigQuery ML</h2><h3>Time-To-Market</h3>In unserem Test-Setup war das erste Modell bereits nach einer Stunde Arbeit für zwei Personen umgesetzt. Diese Stunde beinhaltete Diskussionen über technische Parameter und das Einrichten eine Cloud-Budgets für unsere Experimente. Wichtig zu erwähnen ist dabei jedoch, dass wir auf vorhandene Daten zugreifen konnten. Es waren keine zusätzlichen Anbindungen etc. notwendig.Mit insgesamt einem Tag Arbeit wäre zudem Finetuning sowie eine Aufbereitung und Evaluation der vorläufigen Ergebnisse machbar gewesen. Anders formuliert: Ein einziger Tag hätte in unserem Fall von einem Kick-off bis hin zu belastbaren ersten Ergebnissen ausgereicht. Unter Berücksichtigung des üblichen Tagesgeschäfts wäre ein solches Experiment in einer einzigen Arbeitswoche machbar.Würde die Entscheidung für den nächsten Schritt, also die Erstellung eines MVP, fallen, wären bereits zwei Produktvarianten zur Verprobung verfügbar. Zum einen könnte beispielsweise eine BI-Abteilung Analysen auf den berechneten Empfehlungen durchführen. Einzige Voraussetzung wären dabei durchschnittliche SQL-Kenntnisse. Zum anderen kann sehr leicht ein allgemein verfügbarer Endpoint erstellt werden. Dieser würde das Konsumieren der Ergebnisse z. B. durch eine Webseite ermöglichen.Obwohl unsere Erwartungen im Vorfeld bereits hoch waren, wurden sie in Hinblick auf Time-to-Market sogar übertroffen. Selbstverstädndlich darf die Komplexität der konkreten Einbindung nicht unterschätzt werden. Trotzdem halten wir dies in wenigen Wochen für absolut realistisch.<img loading="lazy" width="422" height="151" src="https://media.graphassets.com/w2OFAJE2Sea4qnDdNxSu" alt /><h3>Kosten</h3>Wie bei allen Cloud-Diensten muss jeder Anwendungsfall gesondert berechnet werden, um unangenehme Überraschungen zu vermeiden. Die Kosten der Hauptkomponenten ergeben das folgende Bild:<img loading="lazy" width="447" height="401" src="https://media.graphassets.com/T1l5KSDvQEaxlvT8FngK" alt="Kosten Big Query ML Cloud Storage AI Platform" />Das Modelltraining stellt also den größten Kostentreiber dar. Hier lassen sich, wie bei allen Cloud-Services, zwar Kosten optimieren, dem steht jedoch ein Overhead für gewissenhaftes Monitoring gegenüber. Eine solche Entscheidung muss im Einzelfall getroffen werden.Im Vergleich zu anderen Implementierungsansätzen sind die Arbeitskosten vernachlässigbar. Es muss keine zusätzliche Infrastruktur für das Modelltraining und die Evaluation verwaltet werden. Durch die Integration in SQL können auch Anwender ohne Programmiererfahrung schnell Ergebnisse erzielen. Das Feintuning der Modelle kann ebensfalls schnell und ohne besondere technische Kenntnisse durchgeführt werden.<h2>Fazit zu BigQueryML aus der Business-Perspektive</h2>Aus unserer Sicht sind Dienste wie BigQuery ML ein großer Schritt zur Kommoditisierung und Kommerzialsierung von Machine Learning. Darüber hinaus ermöglichen sie eine hohe Entwicklungs- und Integrationsgeschwindigkeit. Uns hat der Service deshalb klar überzeugt.

Kürzere Time-to-Market für ML-Modelle durch Googles BigQuery ML

<img width="1024" height="684" src="https://media.graphassets.com/XLrcl9oRSmy1xDtxQTPL" alt /> <h2>Interview: Accelerate IT bei der METRO.digital</h2><img loading="lazy" src="https://media.graphassets.com/vldBsOcNRUvj6avt0JCZ" alt width="140" height="140" />Dr. Anna Hannemann ist Data Science Engineering Manager und Domain Owner bei <a href="https://metro.digital/" target="_blank">METRO.digital</a> , der Software-Unit der METRO AG, die den digitalen Wandel vorantreibt. Niklas Haas, Machine Learning Engineer bei codecentric, hat die promovierte Informatikerin und Datenwissenschaftlerin gefragt, welchen Stellenwert eine beschleunigte IT im Kontext der METRO-Zielgruppe und im Bereich Data Science hat. <h3>Anna, was bedeutet „Accelerate IT“ für dich? </h3>Dr. Anna Hannemann: Es bedeutet für mich, mit den sich schnell ändernden Anforderungen der heutigen Welt mithalten zu können. Gerade in Zeiten von Corona sehen wir in manchen Bereichen einen richtigen Boost von IT. Viele Gastronomen mussten zum Beispiel in sehr kurzer Zeit auf Onlinebestellung und Lieferservice umschwenken. Wir bei Metro sehen Hotels, Restaurants und Catering als unsere Hauptzielgruppe an und müssen mit den Änderungen nicht nur mithalten, sondern diese am besten mitgestalten.<h3>Warum sollten Unternehmen ihre IT beschleunigen? </h3>Dr. Anna Hannemann: Bleiben wir bei der Corona-Situation, so haben wir gelernt, dass die Regeln und Restriktionen unglaublich schnell angepasst werden können: vom Normalbetrieb bis hin zum kompletten Lockdown. Da bleibt keine Zeit, sechs Monate zu warten, bis die Software fertig deployed wird, weil der Use Case oder vielleicht sogar die gesamte Zielgruppe nicht mehr existiert.  Schnelle Anpassungen waren in der Corona-Situation für einige Branchen also überlebensnotwendig. Ein halbes Jahr auf eine fertige Software zu warten hätte einige Unternehmen die Existenz gekostet.Auch soziale Medien beeinflussen signifikant die Meinungen und Wünsche unserer Gesellschaft. Mit einem Schneeballeffekt können die Themen sowohl zum Hype gemacht als auch komplett abgeschrieben werden. Wartet man zu lang und verpasst den Trend, so wird die ursprünglich vielversprechende Idee am Ende womöglich gar nicht mehr gebraucht.  <h3>Was bringt deiner Meinung nach eine höhere Deployment Frequency? </h3>Dr. Anna Hannemann: Mit Blick auf ein Data-Science-Produkt bedeutet „Accelerate IT“, eine Idee für ein neues Machine-Learning-Modell oder einen neuen Algorithmus innerhalb weniger Tage zu realisieren und zu deployen. Dann wird sofort das Nutzer-Feedback eingeholt, z. B. über die Interaction Rate und den durch Recommendations generierten Umsatz. Wir legen unsere Architektur darauf aus, Ideen der Data Scientists für verbesserte Modelle innerhalb weniger Tage zu deployen sowie das User Feedback für diese Modelle sofort einzuholen. Warten wir zu lange und optimieren unsere Modelle mithilfe von Offline-Metriken, so kann es passieren, dass dies am Ende gar nicht mit der tatsächlichen Meinung von Nutzern korreliert, weil deren Vorlieben, wie oben beschrieben, durch die Umgebung wie sozialen Medien stark beeinflusst werden.  <h3>Vielen Dank für das Interview!</h3> <h2>Weitere Ressourcen zum Thema Accelerate IT:</h2><a href="https://www.codecentric.de/leistungen/it-acceleration/accelerate-it" target="_blank">Positionspapier „Accelerate: Der erstaunliche Wert von Geschwindigkeit“</a>

Interview: Accelerate IT bei der METRO.digital

Hands-on Spark intro: Cross Join customers and products with business logic

Having worked with Google Cloud Platform’s Big Data Services for almost a year, I wanted to have a broader view on GCP’s capabilities. In this post, I will give you an overview of the services touched by <a href="https://www.coursera.org/specializations/gcp-data-machine-learning" target="_blank">the Coursera specialization</a> . I have been a GCP fan already, and now I am even more convinced. In the hands-on course (version: September 2019), which is quite up to date regarding the service maturity, but not the service names, I gained a deeper understanding of:<ul><li>PubSub: Fully managed message queue for buffering messages</li><li>Dataflow: Serverless (i.e. autoscaling) Apache Beam service, can be used to process both batch or streaming data</li><li>Dataproc: Fully managed Hadoop cluster with Spark on YARN. Special focus was put on the separation of storage and compute, which also allows you to use cheap preemptible instances</li><li>BigQuery: Serverless data storage and analytics service, feels like an SQL database, with latency in seconds</li><li>Bigtable: A data sink for terabytes of data with millisecond latency, where you need to put some thoughts into schema design (especially access keys) and cluster configuration (it’s not serverless). I guess I will use it for IoT applications in the future!</li><li>ML Engine (new name: AI platform): Serverless training of <a href="https://blog.codecentric.de/en/2018/02/deep-learning-workshop-bei-der-codecentric-ag-solingen/">TensorFlow</a> models with seamless deployment to an API</li><li>Vision API: Query pre-trained models for already solved tasks, for example image classification, sentiment analysis</li><li>AutoML: Bring your own data to pre-trained models in the cloud. Then trigger transfer learning and finetuning with automated hyperparameter optimization. The GUI (which comes with AutoML Vision, I don’t know about other domains like language) makes the model easily accessible to your customer’s end users.</li><li>Datalab: Their notebook service which is built on the Jupyter ecosystem, but integrates nicely with Google’s infrastructure (CPU, GPU, TPU)</li><li>Data Studio: External dashboarding service which can be connected to BigQuery very easily</li></ul>I especially enjoyed the hands-on labs where<ul><li>we used AutoML to finetune a pretrained model to detect types of clouds in the sky (pun intended, I guess)</li><li>we set up a pipeline to monitor (simulated) traffic in San Diego to get the average lane speed and congestion information. I used PubSub to buffer messages, processed them with Dataflow (get average speed), redirected them to BigQuery and built a Dashboard with Data Studio, which got updated regularly.</li></ul><h2>Some more words about …</h2><h2>BigQuery</h2>I really enjoy using BigQuery! Because<ul><li>it’s serverless, you simply type SQL queries. I don’t care about node numbers and their uptime.</li><li>pricing is easy and transparent, it’s divided into storage and query costs (no artificial units involved, no dependency on cluster specs).</li><li>it handles nested data easily, and offers all the SQL functionalities you already know from your RDBMS.</li><li>you can create ML models with an SQL query. Of course, they are either the absolutely basic (LinReg and LogReg) or a custom TensorFlow model, but I guess the service will evolve and it might be possible in the future to make inference in the SQL query.</li></ul><h2>AutoML</h2>In my opinion, Machine Learning (ML) is currently in the process of being commoditized. AutoML is an outcome of this process, and I also enjoy using it. You can call it “No-Ops” machine learning, you simply “recognize” the model parameters after hyperparameter tuning and assess the model quality.If my next problem at a customer site has been solved already, like sentiment analysis or image classification, but needs a tweak towards one’s own data, then this is the way to go for me. Models also need to be retrained continuously. With the offered GUI, this can be done by (almost) non-technical personnel. Besides that, AutoML models can also serve as a breakthrough to assess whether the business problem is suited for ML at all. AutoML then delivers the benchmark to beat from upcoming pipelines.AutoML automates a lot of work for Data {Scientists, Engineers} (i.e. myself). IMHO, Data Scientists will still be in demand, though. But they will spend more time on insight generation, productivizing these, and implementing (semi-)automated decision making systems. Solutions for common use cases will be implemented more quickly, which will also increase the footprint and visibility of ML in the company more rapidly. With the increased awareness of ML, new use cases will arrive in the pipeline, and possibly some of them cannot be solved with a template or service (yet) such so that I can do hardcore modeling again.<h2>A note on GCP AI services naming scheme</h2>I personally consider Google to be the leader in non-robotic application of Machine Learning (Google AI, Colab with DeepMind, unlimited training data in Google Photos Storage, their reinforcement learning researchers are pleasantly anticipating the take-off of the Stadia gaming platform, I guess). But when browsing the website, I get really confused about the AI services they offer. Some snippets:<ul><li>Cloud AI</li><li>ML engine (which is now being renamed to “AI Platform”)</li><li>AI Hub</li><li>Vision AI</li><li>Vision API</li><li>AutoML Vision</li><li>…</li></ul>It is a little hard for me to differentiate between<ul><li>Cloud services</li><li>Google Cloud consulting services</li><li>Which APIs I can query out of the box, what problem they are solving exactly</li></ul><h2>Apache Beam (Dataflow)</h2>They are advertising Apache Beam heavily, understandingly, as it <a href="https://cloud.google.com/blog/products/gcp/why-apache-beam-a-google-perspective" target="_blank">originated at Google</a> . I haven’t seen any other managed Beam service from other cloud providers. GCP’s Dataflow is a runner for Apache Beam.It’s a unified framework for batch and stream processing with nice monitoring in Google Cloud Dataflow. The next time I need to send (streaming) data from A to B (for example, PubSub to BigQuery) and don’t need any JOIN or complex operations, I will definitely consider using it. Alternatives are, for example, Spark and Spark Streaming.<h2>Datalab</h2>Just a feeling, but I personally prefer to use “plain” Jupyter notebooks, as I am already used to it and know my shortcuts. Of course, I definitely want the ML machine out of the box, but I don’t see the need for a special Jupyter notebook look.<h2>Summary</h2>Most of our customers’ business models are not built around ML. But we use ML to add new features to their business model (recommendations), increase productivity (for example by doing anomaly detection with early warnings) or make their established processes more cost-efficient through automation.Therefore, my main objective in my career at this moment is to productionize ML, i.e. to implement a production pipeline of insights that can be used for automated decision making. I am a fan of GCP, their products seem well thought out, and the high-quality Coursera specialization gave a nice overview after one year of GCP application. I especially welcome GCP’s growing AutoML capabilities. Using AutoML lets me focus on model quality and business problem solving, ultimatively enhancing my customer’s business models for a reasonable cost.The next step on my path is now the Google Cloud Professional Data Engineer certification.

Thoughts after completing the Coursera “Data Engineering, Big Data, and Machine Learning on GCP Specialization”

Machine Learning Engineer and Google Cloud Architect

KI-Speeddating: In einer Stunde zum perfekten Match

Events | codecentric AG

Vielen Dank für deine Anfrage. Ich melde mich bei dir.

Vielen Dank für deine Anmeldung. Eine E-Mail zur Bestätigung ist zu dir unterwegs.

Diese Seite ist eine Vorschau. \nKlicken Sie hier\n, um den Vorschaumodus zu verlassen.

Zu deiner Suche haben wir leider keine passenden Blogartikel gefunden. 

Du hast noch Fragen zu diesem Thema? Dann sprich mich einfach an.

Die \nDatenschutzerklärung\n der codecentric AG habe ich zur Kenntnis genommen und bestätige das mit der Absendung des Formulars.*

Entdecke spannende weiterführende Themen und lass dich von der codecentric Welt inspirieren.

Ich möchte eure Inhalte abonnieren. Diese Einwilligung kann ich jederzeit widerrufen bzw. den Blog Newsletter abbestellen. Die Datenschutzerklärung habe ich gelesen. Ich bin damit einverstanden, dass die codecentric AG, Hochstr. 11, 42697 Solingen, mich über eigene Dienstleistungen, branchenrelevante Events, Webinare und Publikationen der codecentric AG über die von mir angegebene E-Mail-Adresse informiert. Meine Einwilligung ist freiwillig. Ich kann meine Einwilligung jederzeit mit Wirkung für die Zukunft widerrufen (z.B. über den hierfür vorgesehenen Abmeldelink in unserem Newsletter, per E-Mail an datenschutz@codecentric.de oder per Post an die oben genannte Adresse der codecentric AG) erklären. Weitere Hinweise zur Verarbeitung meiner personenbezogenen Daten und zu meinen Rechten als betroffene Person finde ich hier: \nhttps://www.codecentric.de/datenschutzerklaerung\n

Bitte wähle deine/n gewünschte/n Standort/e aus.

Wir möchten dich als Mensch kennenlernen. Erzähle uns, wer du bist, worauf du Wert legst, wie du gerne arbeitest und was du von uns als Arbeitgeber erwartest.

Bitte füge deine Bewerbungsunterlagen ​(mind. Lebenslauf, gerne auch mehr)​​ ​als eine ​PDF-​Datei ​hinzu.

Es gilt die Datenschutzerklärung der codecentric AG, abrufbar unter \nDatenschutzbestimmungen\n. Mit dem Absenden des Formulars bestätige ich, dass ich diese zur Kenntnis genommen habe.

Job application form field placeholder 10

Keine passende Rolle gefunden? Bewirb dich bitte trotzdem initiativ! Jenseits von starren Schubladen zählen für uns vielmehr Motivation, Kompetenz und der Cultural Fit.

Job application form field placeholder 11

Dies ist ein Pflichtfeld, bitte fülle es aus.

Kontakt

Absenden

Events, Messen und Konferenzen von und mit codecentric

Lass uns austauschen – hier kannst du uns treffen:

Mehr laden

KI-Speeddating

Weitere Infos

Exploring Generative AI and Unleashing Grafana Loki

Mehr Infos

KI-Speeddating: In einer Stunde zum perfekten Match

Gemeinsam bessere Projekte umsetzen.

Wir helfen deinem Unternehmen.

Unsere Leistungen

Hilf uns, noch besser zu werden.

Zu den Jobangeboten