KI-Antworten messbar machen: Qualitätssicherung für KI-Systeme

Im Rahmen einer KI-Initiative baute ein grosser Schweizer Energieversorger eine zentrale KI-Plattform auf. Anders als klassische Software liefern Sprachmodelle nicht immer dieselbe Antwort. Ob eine Anpassung die Qualität verbessert oder verschlechtert, lässt sich deshalb ohne entsprechende Messungen kaum beurteilen.

Evaluation und Monitoring waren daher von Beginn an wichtige Bestandteile der Plattform. Ziel war es, Fehler frühzeitig zu erkennen, Änderungen systematisch zu testen und Prompts nachvollziehbar zu verwalten. Dafür benötigte der Kunde eine Lösung, mit der sich die Qualität der KI-Anwendungen kontinuierlich überprüfen und die Plattform datenbasiert weiterentwickeln lässt.

Gemeinsam mit dem Kunden implementierten wir MLflow als zentrale Plattform für AI Observability und Evaluation in die bestehende Databricks-Infrastruktur. Damit schufen wir die Grundlage, um KI-Anwendungen systematisch zu überwachen, ihre Qualität messbar zu bewerten und Änderungen gezielt zu optimieren.

Im Rahmen der Umsetzung konzentrierten wir uns auf vier zentrale Bereiche:

• Tracing: Wir integrierten ein automatisiertes Tracing, das jede Anfrage inklusive aller Schritte des Agentic Workflows in MLflow aufzeichnet. Dadurch lassen sich Latenz und Kosten transparent nachvollziehen und Fehler gezielt auf einzelne Verarbeitungsschritte zurückführen.
• Monitoring im Betrieb: Wir richteten ein kontinuierliches Qualitätsmonitoring mit vordefinierten und eigenen Scorern ein. Mithilfe von LLM-as-a-Judge lassen sich KI-Antworten hinsichtlich Relevanz, Korrektheit und Quelltreue bewerten und mögliche Qualitätsabweichungen frühzeitig erkennen.
• Evaluation: Wir etablierten einen strukturierten Evaluationsprozess, bei dem die einzelnen KI-Komponenten vor Änderungen anhand fachlich definierter Testdatensätze geprüft werden. Die Ergebnisse liefern messbare Qualitätskennzahlen und ermöglichen einen nachvollziehbaren Vergleich verschiedener Modell- und Prompt-Versionen.
• Prompt-Management: Wir implementierten eine zentrale Verwaltung und Versionierung der Prompts. Änderungen lassen sich dadurch nachvollziehen und neue Prompt-Versionen ohne erneutes Deployment aktivieren.

Die gesamte Lösung integrierten wir vollständig in die bestehende Databricks-Infrastruktur, sodass keine zusätzlichen Tools erforderlich waren.

Mit der Einführung von MLflow ermöglichten wir dem Kunden, Fehler bereits während der Testphase gezielt zu identifizieren und zu beheben. Änderungen an Prompts und Modellen lassen sich nun systematisch testen und anhand definierter Qualitätskriterien vergleichen.

Damit schufen wir eine zentrale Grundlage für die kontinuierliche Qualitätssicherung der KI-Anwendungen. Der Kunde kann Optimierungen datenbasiert vornehmen und seine KI-Plattform gezielt weiterentwickeln.