CHATBOT SUMMY – INTERAKTION MITSTRUKTURIERTEN DATEN LEICHT GEMACHT
Unser SaaS-Produkt inpeek Summarix unterstützt uns bereits zuverlässig bei der Verwaltung von Lebensläufen, Projektreferenzen, Skills, Kunden u.v.m. und ermöglicht so die nahtlose Erstellung von Dokumenten für öffentliche Ausschreibungen. Ziel war es, die Arbeit unserer Mitarbeitenden und unseres Salesteams durch die Vereinfachung die Interaktion mit den strukturierten Daten von Summarix noch weiter zu erleichtern. Aus diesem Anspruch heraus entstand Summy, unser KI-gestützter Chatbot.
Summy ist nahtlos in Summarix integriert und erlaubt es, jederzeit Fragen wie «Wer hat Erfahrung mit Angular?» oder «Welches Projekt eignet sich am besten, um unsere Expertise mit SAP BTP auszuweisen?» zu stellen.
DIE HERAUSFORDERUNGEN
inpeek Summarix ist vollständig auf Basis der SAP Business Technology Plattform (BTP) aufgebaut und speichert die Daten in der SAP HANA Datenbank. Die Entwicklung und Implementierung des Chatbots auf Basis von SAP- Technologien war deshalb Vorgabe. Zentrale Herausforderung war das Erreichen qualitativ guter Antworten auch auf komplexe Fragen. Weiter war es uns wichtig, die Einführung nach jeder Iteration automatisiert und objektiv evaluieren zu können, so nicht von der Einschätzung von Menschen abhängig zu sein und möglichst ergebnisoffen zu bleiben.
Ein weiterer entscheidender Punkt bei der Implementation war das Mappen von Begriffen auf Entitäten im bestehenden Summarix System. Ein User kann zum Beispiel "SAP BTP" als Begriff verwenden, im System ist jedoch "SAP Business Technology Plattform (BTP)" erfasst. Dieses Mapping muss zuverlässig erfolgen, um nach den korrekten Entitäten zu suchen.
Dritter wesentlicher Aspekt war das Context Engineering (Prompt Engineering): Alle relevanten Informationen müssen dem LLM im Prompt zur Verfügung gestellt werden, um ein korrektes SPARQL Query (ähnlich zu SQL) formulieren zu können.
DIE HERAUSFORDERUNGEN
inpeek Summarix ist vollständig auf Basis der SAP Business Technology Plattform (BTP) aufgebaut und speichert die Daten in der SAP HANA Datenbank. Die Entwicklung und Implementierung des Chatbots auf Basis von SAP- Technologien war deshalb Vorgabe. Zentrale Herausforderung war das Erreichen qualitativ guter Antworten auch auf komplexe Fragen. Weiter war es uns wichtig, die Einführung nach jeder Iteration automatisiert und objektiv evaluieren zu können, so nicht von der Einschätzung von Menschen abhängig zu sein und möglichst ergebnisoffen zu bleiben.
Ein weiterer entscheidender Punkt bei der Implementation war das Mappen von Begriffen auf Entitäten im bestehenden Summarix System. Ein User kann zum Beispiel «SAP BTP» als Begriff verwenden, im System ist jedoch «SAP Business Technology Plattform (BTP)» erfasst. Dieses Mapping muss zuverlässig erfolgen, um nach den korrekten Entitäten zu suchen.
Dritter wesentlicher Aspekt war das Context Engineering (Prompt Engineering): Alle relevanten Informationen müssen dem LLM im Prompt zur Verfügung gestellt werden, um ein korrektes SPARQL Query (ähnlich zu SQL) formulieren zu können.
UNSER LÖSUNGSANSATZ
Wir setzten Summy als Agentic AI Workflow um. Dafür nutzten wir Large Language Models (LLM), welche über SAP Generative AI Hub bereitgestellt werden, um die jeweilige Frage zu verstehen, Entitäten zu extrahieren, SPARQL Queries zu verfassen und die finale Antwort zu formulieren. Der Ablauf wurde als Workflow mit der Library LangGraph realisiert, gewisse Entscheidungen werden von LLMs getroffen (daher auch Agentic AI). Wir liessen dem System bewusst wenig Spielraum und setzten nur punktuell auf autonome Entscheidungen.
Das AI System integrierten wir direkt in das bestehende SAP Cloud Application Programming Model (CAP) Backend und verwendeten dazu die JS Version von LangGraph und LangChain. Die bestehenden Daten werden in der relationalen SAP HANA Cloud Datenbank gespeichert. Wir entschieden uns dafür, einen Knowledge Graphen zu nutzen und die Informationen als solchen abzubilden. Da parallel SAP ein Early Adapter Care Programm (EAC) für ihre neue SAP HANA Knowledge Graph Engine gestartet hat, konnten wir direkt daran teilnehmen, das neue Produkt testen und unsere Umsetzung vom SAP Team begleiten lassen. Um den Knowledge Graphen zu erstellen, extrahierten wir erst alle Daten aus der SAP HANA Cloud Datenbank, wandelten sie anschliessend mit Python in den Knowledge Graphen um und spielten sie in die SAP HANA Knowledge Graph Engine ein. Dieser Prozess wird nun regelmässig als Job ausgeführt, um den Knowledge Graphen aktuell zu halten.
Um eine optimale Integration vom Chatbot in das bestehende Fiori Frontend zu gewährleisten, implementierten wir ein eigenes Chat Interface mit Angular und integrierten dies anschliessend als Shell Plugin in die SAP Work Zone.
Neben der technischen Umsetzung legten wir einen grossen Wert auf die Evaluierung der Performance unseres Systems. Bei jeder Änderung verwendeten wir ein vordefiniertes Test-Datenset (Fragen + zugehörige korrekte Antworten), um automatisiert die Veränderung der Performance des Systems zu prüfen. Für die Evaluierung und auch die Überwachung kam die Open Source Lösung Langfuse zum Einsatz. Weiter integrierten wir eine Funktionalität, die es den Usern erlaubt, eine falsche Antwort zu markieren. Diese Antworten werden daraufhin in ein Datenset gespeichert und können von unseren AI Engineers analysiert werden, um Schwachstellen zu beheben und das System kontinuierlich weiterzuentwickeln.
Mehr Details zur technischen Umsetzung und zur Architektur erläutern unsere AI Engineers in einem Medium Blog Post.
UNSER LÖSUNGSANSATZ
Wir setzten Summy als Agentic AI Workflow um. Dafür nutzten wir Large Language Models (LLM), welche über SAP Generative AI Hub bereitgestellt werden, um die jeweilige Frage zu verstehen, Entitäten zu extrahieren, SPARQL Queries zu verfassen und die finale Antwort zu formulieren. Der Ablauf wurde als Workflow mit der Library LangGraph realisiert, gewisse Entscheidungen werden von LLMs getroffen (daher auch Agentic AI). Wir liessen dem System bewusst wenig Spielraum und setzten nur punktuell auf autonome Entscheidungen.
Das AI System integrierten wir direkt in das bestehende SAP Cloud Application Programming Model (CAP) Backend und verwendeten dazu die JS Version von LangGraph und LangChain.
Die bestehenden Daten werden in der relationalen SAP HANA Cloud Datenbank gespeichert. Wir entschieden uns dafür, einen Knowledge Graphen zu nutzen und die Informationen als solchen abzubilden. Da parallel SAP ein Early Adapter Care Programm (EAC) für ihre neue SAP HANA Knowledge Graph Engine gestartet hat, konnten wir direkt daran teilnehmen, das neue Produkt testen und unsere Umsetzung vom SAP Team begleiten lassen. Um den Knowledge Graphen zu erstellen, extrahierten wir erst alle Daten aus der SAP HANA Cloud Datenbank, wandelten sie anschliessend mit Python in den Knowledge Graphen um und spielten sie in die SAP HANA Knowledge Graph Engine ein. Dieser Prozess wird nun regelmässig als Job ausgeführt, um den Knowledge Graphen aktuell zu halten.
Um eine optimale Integration vom Chatbot in das bestehende Fiori Frontend zu gewährleisten, implementierten wir ein eigenes Chat Interface mit Angular und integrierten dies anschliessend als Shell Plugin in die SAP Work Zone.
Neben der technischen Umsetzung legten wir einen grossen Wert auf die Evaluierung der Performance unseres Systems. Bei jeder Änderung verwendeten wir ein vordefiniertes Test-Datenset (Fragen + zugehörige korrekte Antworten), um automatisiert die Veränderung der Performance des Systems zu prüfen. Für die Evaluierung und auch die Überwachung kam die Open Source Lösung Langfuse zum Einsatz. Weiter integrierten wir eine Funktionalität, die es den Usern erlaubt, eine falsche Antwort zu markieren. Diese Antworten werden daraufhin in ein Datenset gespeichert und können von unseren AI Engineers analysiert werden, um Schwachstellen zu beheben und das System kontinuierlich weiterzuentwickeln.
Mehr Details zur technischen Umsetzung und zur Architektur erläutern unsere AI Engineers in einem Medium Blog Post.
DAS ERGEBNIS
Der Chatbot ist vollständig in die bestehende Architektur integriert, kann von überall im inpeek Summarix aufgerufen werden und beantwortet zuverlässig Anfragen unserer Mitarbeitenden, ganz besondere des Sales Teams. Wesentliche Daten für Projektprofile, Mitarbeitenden-Referenzen oder Angebots-Vorlagen können so bequem und schnell abgerufen werden. Die Lösung wird laufend verbessert und ist bei inpeek seit August 2025 produktiv im Betrieb.
Aufgrund seines innovativen Ansatzes wurde das Projekt "Summarix + Summy" von SAP selbst im Oktober als Success Story vorgestellt.
DAS ERGEBNIS
Der Chatbot ist vollständig in die bestehende Architektur integriert, kann von überall im inpeek Summarix aufgerufen werden und beantwortet zuverlässig Anfragen unserer Mitarbeitenden, ganz besondere des Sales Teams. Wesentliche Daten für Projektprofile, Mitarbeitenden-Referenzen oder Angebots-Vorlagen können so bequem und schnell abgerufen werden. Die Lösung wird laufend verbessert und ist bei inpeek seit August 2025 produktiv im Betrieb.
Aufgrund seines innovativen Ansatzes wurde das Projekt «Summarix + Summy» von SAP selbst im Oktober als Success Story vorgestellt.
ÜBER INPEEK
Wir sind ein junges IT-Technologieunternehmen und spezialisiert auf Beratungs- und Entwicklungsdienstleistungen im SAP-Umfeld. Basierend auf einem starken technologischen Fundament bieten wir innovative, nutzerfreundliche und praxistaugliche Lösungen für verschiedenste Unternehmensbereiche und Branchen – und das höchst agil und immer mit Leidenschaft.
