Ask Your Data(bricks) mit Natural Language

Das derzeit wohl heißeste Thema im Bereich Daten und KI ist die Möglichkeit, mit den eigenen Daten zu sprechen. Das Schreiben von SQL-Abfragen ist bei der Datenexploration alles andere als intuitiv, daher klingt die Möglichkeit, einfach Fragen in natürlicher Sprache zu stellen und KI-gestützte Antworten zu erhalten, die auf Ihren Geschäftsdaten basieren, wie zum Leben erweckte Science-Fiction. Wir haben kürzlich die MCP-gestützten Talk-to-Your-Data-Funktionen von MotherDuck in unserer Blogserie untersucht und richten nun unseren Fokus auf eine der führenden Unternehmenslösungen: Databricks.

In diesem ersten Artikel werden wir die KI-Landschaft von Databricks untersuchen und einen Überblick über die Kernpfeiler erstellen, die es Benutzern ermöglichen, auf natürliche Weise mit ihren Daten zu interagieren. Zukünftige Artikel werden tiefer in diese Konzepte eintauchen und Best Practices für die Implementierung hervorheben.

Databricks AI/BI

Schauen wir uns an, was Databricks in diesem Bereich bietet. Das Unternehmen bündelt Funktionen, die darauf ausgerichtet sind, Geschäftsanwendern den Zugriff auf ihre Daten zu erleichtern, unter dem Dach von Databricks AI/BI. Diese Business-Intelligence-Lösung nutzt zusammengesetzte KI (Compound AI), um die Datenanalyse mit Self-Service-Einblicken, robuster Governance und außergewöhnlicher Leistung zu verbessern.

Compound-AI-Systeme kombinieren mehrere KI-Technologien oder -Modelle, um komplexe Probleme zu lösen. Anstatt sich auf ein einzelnes KI-Modell oder einen Algorithmus zu verlassen, integrieren diese Systeme mehrere interagierende Komponenten, um Leistung und Genauigkeit zu verbessern. Durch die Nutzung komplementärer KI-Technologien liefern Compound-AI-Systeme genauere und aufschlussreichere Ergebnisse als einzelne KI-Modelle, die isoliert arbeiten.

Databricks AI/BI basiert auf der Databricks Data Intelligence Platform und ist eng mit dieser integriert. Es verbindet sich nahtlos mit Unity Catalog, richtet sich nach dessen Governance-Rahmen und befolgt alle von Administratoren festgelegten globalen Richtlinien. Durch die Lineage-Visualisierung von Unity Catalog können Datenproduzenten und Administratoren nachverfolgen, wie ihre Datenbestände in AI/BI genutzt werden. Diese Rückverfolgbarkeit bis zum Erfassungspunkt des Datensatzes schafft Vertrauen in die Analyseergebnisse.

Die Plattform ist auch in Databricks Identity and Access Management integriert, das sich direkt mit vielen Identitätsanbietern verbindet, sodass Benutzer ihre Analysen mit jedem in ihrer Organisation teilen können. Databricks AI/BI hat keine platzbasierten Einschränkungen, was bedeutet, dass jeder aus der Organisation ohne die Kosten für den Kauf neuer Lizenzen hinzugefügt werden kann. Durch die enge Integration mit SQL-Warehouses und der Photon-Engine profitiert AI/BI von einzigartigen Optimierungen, die hochleistungsfähige Interaktionen ermöglichen. Da AI/BI auch in das bestehende Datenökosystem integriert ist, müssen Datensätze nicht in eine separate BI-Engine extrahiert werden. Dies verbessert die Datenaktualität und vereinfacht die Data Governance, was zu einem optimierten Datenanalyseprozess führt.

Traditionelle BI-Tools haben sich auf Berichte und Dashboards verlassen und erforderten oft eine umfassende Beteiligung von Datenfachleuten zur Erstellung neuer Visualisierungen. Während KI-Assistenten in BI-Tools integriert wurden, um diesen Engpass zu beheben, haben sie häufig Schwierigkeiten mit realen Datenkomplexitäten und liefern beeindruckende Demos, versagen aber in der Praxis. Das semantische Modell einer Organisation basiert typischerweise auf dem Wissen derjenigen, die täglich mit den Daten arbeiten. Databricks AI/BI erfasst dieses Verständnis aus Schnittstellen innerhalb von Databricks, erweitert den bestehenden Kontext in der Data Intelligence Platform und nutzt dieses Wissen, um praktische, realitätsnahe Antworten zu liefern. Databricks AI/BI wird durch zwei komplementäre Produkterfahrungen unterstützt: AI/BI Dashboards und Genie Spaces.

Genie Spaces

Genie ist eine Databricks-Funktion, die es Geschäftsteams ermöglicht, mithilfe natürlicher Sprache mit ihren Daten zu interagieren. Es nutzt generative KI, die auf die Terminologie und Daten der Organisation zugeschnitten ist, mit der Möglichkeit, seine Leistung durch Benutzerfeedback zu überwachen und zu verfeinern. Domänenexperten konfigurieren Genie Spaces mit Datensätzen, Beispielabfragen und Textrichtlinien, um Genie dabei zu helfen, Geschäftsfragen in analytische Abfragen zu übersetzen. Nach der Einrichtung können Geschäftsanwender Fragen stellen und Visualisierungen erstellen, um Betriebsdaten zu verstehen, während Genies semantisches Wissen kontinuierlich aktualisiert wird, wenn sich Daten ändern und Benutzer neue Fragen stellen.

Genie wählt automatisch relevante Namen und Beschreibungen aus annotierten Tabellen und Spalten aus, um Fragen in natürlicher Sprache in äquivalente SQL-Abfragen umzuwandeln. Es antwortet dann mit der generierten Abfrage und der Ergebnistabelle. Wenn Genie keine Antwort generieren kann, kann es Folgefragen stellen, um zu klären, bevor es eine Antwort liefert.

Wenn ein Benutzer eine Frage stellt, analysiert Genie die Anfrage, identifiziert relevante Datenquellen und bestimmt, wie eine angemessene Antwort generiert werden kann. Von Autoren bereitgestellte Details in Kombination mit relevanten Unity-Catalog-Kommentaren, Metadaten und Beispielwerten aus ausgewählten Spalten ermöglichen es Genie, sowohl geschäftliche als auch technische Logik abzuleiten. Genie filtert intelligent SQL-Beispielabfragen, Tabellen- und Spaltenmetadaten sowie den Chat-Verlauf, um den relevantesten Kontext für die Beantwortung der Anfrage auszuwählen.

Genie generiert Antworten mit mehreren zusammenwirkenden Komponenten. Unity-Catalog-Tabellenmetadaten werden verwendet, wenn Genie die Anfrage analysiert und die natürlichsprachliche Eingabe in SQL umwandelt. Genie filtert intelligent relevante Spaltennamen und -beschreibungen zur Einbeziehung. Autoren können auch lokal Asset-Metadaten bearbeiten und Spalten auswählen, die relevante Werte für Genie bereitstellen, was hilft, genauere Antworten zu generieren, ohne bestehende Unity-Catalog-Metadaten zu ändern. Genie wählt auch intelligent relevante SQL-Beispiele oder SQL-Funktionen aus, die dem Space hinzugefügt wurden. Autoren können auch Klartextanweisungen bereitstellen. Schließlich werden Eingaben und Antworten aus dem aktuellen Chat als Kontext einbezogen.

Während Genie in anderen Sprachen als Englisch verwendet werden kann, umhüllt das zugrunde liegende Agenten-Framework Eingaben auf Englisch, und Databricks empfiehlt, dass Space-Ersteller so viele Metadaten wie möglich in ihrer gewählten Sprache hinzufügen. Allerdings könnte Genie manchmal auf Englisch antworten, da die zugrunde liegenden Systemprompts auf Englisch sind.

In den meisten Fällen generiert Genie eine SQL-Abfrage, die auf dem SQL-Warehouse des Space ausgeführt wird. Generierte Abfragen sind immer schreibgeschützt. Wiederholungsversuche werden automatisch behandelt und das SQL-Warehouse verwaltet Gleichzeitigkeit und Skalierung. Das Ergebnis wird als Teil der Antwort präsentiert.

AI/BI Dashboards

Dashboards ermöglichen es Benutzern, Datenvisualisierungen zu erstellen und Berichte mit anderen zu teilen. AI/BI-Dashboards verfügen über KI-unterstützte Erstellung, eine erweiterte Visualisierungsbibliothek und eine optimierte Konfigurationserfahrung, sodass Daten schnell in teilbare Erkenntnisse umgewandelt werden können. Veröffentlichte Dashboards können mit jedem geteilt werden, der im Databricks-Konto registriert ist, auch wenn er keinen expliziten Zugriff auf die Workspaces hat.

Veröffentlichte Dashboards enthalten standardmäßig einen Genie Space, der es Geschäftsanwendern ermöglicht, Daten mithilfe natürlicher Sprache zu erkunden. Genie ermöglicht es Betrachtern, mit den Daten zu chatten, anstatt sich ausschließlich auf vordefinierte Visualisierungen zu verlassen. Beim Veröffentlichen generiert Databricks automatisch einen Genie Space basierend auf den Dashboard-Datensätzen und -Visualisierungen.

Diese begleitenden Genie Spaces verwenden den Agentenmodus, der Genies Fähigkeiten erweitert, um sowohl einfache Datenfragen als auch komplexe Geschäftsfragen zu beantworten. Er verwendet mehrstufiges Denken und Hypothesentests, um tiefere Einblicke aufzudecken. Wenn eine Frage gestellt wird, erstellt der Agentenmodus einen Forschungsplan und verfeinert diesen, führt mehrere SQL-Abfragen aus, lernt aus jedem Ergebnis und iteriert, bis er genügend Beweise hat, um eine umfassende Antwort zu geben.

Im Gegensatz zu standardmäßigen Genie-Abfragen entwickelt der Agentenmodus einen strukturierten Ansatz und Hypothesen zur Beantwortung komplexer Fragen und führt dann mehrere SQL-Abfragen aus, um Beweise aus verschiedenen Blickwinkeln zu sammeln. Er passt seinen Ansatz kontinuierlich an, basierend auf dem, was er entdeckt, und verfeinert sein Denken, bis er von der Antwort überzeugt ist. Schließlich liefert er detaillierte Zusammenfassungen mit Zitaten, Visualisierungen und unterstützenden Tabellen.

Databricks One

Databricks One ist ein Produkt, das speziell für Geschäftsanwender entwickelt wurde. Es gibt diesen Benutzern einen einzigen, intuitiven Einstiegspunkt, um mit Daten und KI zu interagieren, ohne Cluster, Abfragen, Modelle oder Notebooks verstehen zu müssen. Über Databricks One können Benutzer einfach AI/BI-Dashboards ansehen und damit interagieren, Datenfragen in natürlicher Sprache mit Genie stellen und beantworten, individuell erstellte Databricks-Apps verwenden und Inhalte nach Domänen durchsuchen, die nach Geschäftsbereichen organisiert sind.

Databricks One gibt Geschäftsanwendern einen Ort, um auf Erkenntnisse zuzugreifen. Die Benutzeroberfläche ist darauf ausgelegt, Unordnung zu beseitigen und Benutzer zu den Dashboards, Apps und Genie Spaces zu führen, die für ihre Rolle am relevantesten sind. Um Benutzern und Gruppen Zugriff auf diese vereinfachte Workspace-Erfahrung zu geben, können sie zum Workspace hinzugefügt und mit der neuen Berechtigung "Consumer Access" ausgestattet werden.

Die Grundlage von Databricks One ist Unity Catalog, sodass Datenteams den Zugriff selbstbewusst erweitern können, ohne ihre Governance-Strategie zu ändern. Dies bedeutet, dass Administratoren den Datenzugriff nach einzelnen Benutzern oder Gruppen verwalten, Sicherheit auf Zeilen- und Spaltenebene implementieren und den Zugriff gleichzeitig und nahtlos kontrollieren können.

Genie Code

Neben diesem auf BI fokussierten Toolset hat Databricks kürzlich ein vergleichbares Produkt veröffentlicht, das auf Entwickler zugeschnitten ist: Genie Code. Genie Code ist ein autonomer KI-Partner, der speziell für Datenarbeit in Databricks entwickelt wurde. Im Gegensatz zu anderen KI-Assistenten ist Genie Code tief in Unity Catalog integriert, wodurch es die gesamte Datenlandschaft verstehen kann, einschließlich Tabellen, Spalten und Lineage. Dieses kontextuelle Bewusstsein macht Genie Code sehr effektiv für Entwickler und Data Practitioners, indem es komplexe, mehrstufige Datenaufgaben beschleunigt und sich autonom an das spezifische Daten- und Governance-Modell anpasst. Es ist für die tägliche Nutzung durch Datenteams konzipiert, von der Experimentierung und Modellentwicklung bis hin zu Produktionspipelines und BI-Dashboards.

Genie Code bietet spezialisierte agentische Erfahrungen, die komplexe Datenarbeit beschleunigen und mehrstufige Aufgaben autonom bewältigen können. Im Agentenmodus passt Genie Code seine Fähigkeiten basierend auf der aktuell in Databricks verwendeten Produktoberfläche an. Im Lakeflow Pipelines Editor konzentriert sich Genie Code auf Pipeline-Bearbeitung und Data-Engineering-Aufgaben. In Notebooks und dem SQL-Editor unterstützt Genie Code Datenexploration und -analyse. In Dashboards unterstützt es Datenanalyse und Dashboard-Erstellung.

Genie Code ist in die Databricks-Plattform integriert, um bei der täglichen Arbeit zu helfen und Benutzer zu unterstützen, wenn sie auf Probleme mit Code stoßen. Es verwendet Unity-Catalog-Metadaten, um die Tabellen, Spalten, Beschreibungen und beliebten Datenbestände im gesamten Unternehmen zu verstehen und personalisierte Antworten bereitzustellen. Benutzer können mit Genie Code chatten, schnelle Korrekturen oder Inline-Vorschläge erhalten und es verwenden, um Beispieldaten zu filtern und zu erkunden oder Fehler zu diagnostizieren.

Fazit

Databricks hat ein umfassendes Ökosystem für natürlichsprachliche Dateninteraktion aufgebaut, das die Lücke zwischen technischer Komplexität und geschäftlicher Zugänglichkeit überbrückt. Durch die Kombination von Genie Spaces für Geschäftsanwender, AI/BI-Dashboards für kollaborative Einblicke, Databricks One für vereinfachten Zugriff und Genie Code für Entwickler adressiert die Plattform die Bedürfnisse verschiedener Benutzergruppen bei gleichzeitiger Aufrechterhaltung zentralisierter Governance durch Unity Catalog.

Was Databricks von anderen Lösungen unterscheidet, ist sein Compound-AI-Ansatz, der sich nicht auf ein einzelnes Modell verlässt, sondern mehrere KI-Komponenten orchestriert, um reale Datenkomplexitäten zu bewältigen. Die enge Integration mit der bestehenden Dateninfrastruktur bedeutet, dass Organisationen keine Daten in separate Systeme extrahieren müssen, wodurch sowohl Datenaktualität als auch Governance-Kontrollen erhalten bleiben. Die Abschaffung platzbasierter Lizenzierung für AI/BI beseitigt auch eine häufige Barriere für die Demokratisierung des Datenzugriffs in Organisationen.

Während wir diese Serie fortsetzen, werden wir untersuchen, wie diese Tools effektiv implementiert werden können, Best Practices für die Konfiguration von Genie Spaces teilen und reale Anwendungsfälle untersuchen, die die Leistungsfähigkeit der konversationellen Dateninteraktion demonstrieren. Die Frage ist nicht mehr, ob natürlichsprachliche Dateninteraktion möglich ist, sondern vielmehr, wie Organisationen diese Fähigkeiten am besten nutzen können, um Erkenntnisse zu beschleunigen und Entscheidungsträger auf allen Ebenen zu befähigen.