Bring your own agent: Integration unseres Chatbots Summy als Pro-Code Agent in SAP Joule

Für den standardisierten Einsatz von Summy in SAP Joule waren drei Voraussetzungen zu erfüllen: Die Anbindung an SAP Joule als zentrale Benutzeroberfläche, eine standardisierte Kommunikation zwischen KI-Agenten und die Nutzung der Modell- und Sicherheitsdienste der SAP BTP. Ohne standardisierte Agentenkommunikation liess sich die Architektur nicht erweitern.

Technisch mussten dafür mehrere Bausteine zusammenspielen: das A2A-SDK, die Authentifizierung über die SAP BTP und die deklarative Konfiguration auf Joule-Seite.

Dazu kam eine wesentliche Anforderung an die Architektur: Sie sollte den aktuellen Anwendungsfall abdecken, aber auch künftige Multi-Agenten-Szenarien tragen, damit weitere Agenten später ohne Umbau andocken können.

Seit kurzem lassen sich eigene, zum Beispiel in Python, entwickelte Pro-Code-Agenten in SAP Joule einbinden. Diesen Weg wählten wir für Summy: Der Agent bleibt ein eigenständiger Dienst mit eigener Fachlogik, SAP Joule wird aber zur zentralen Benutzeroberfläche. Die Integration in SAP Joule erfolgt über A2A und Summy stellt so seine Fähigkeiten direkt in Joule zur Verfügung.

Im Agenten orchestriert LangGraph die Verarbeitungsschritte einer Anfrage, von der Interpretation der Frage über die Abfrage der Wissensbasis bis zur formulierten Antwort. Die Large Language Models (LLM) sind über SAP AI Core angebunden. Daraus resultieren zentrales Modellmanagement, nachvollziehbare Governance und eine sichere Authentifizierung innerhalb der SAP BTP. Als Wissensbasis dient die Knowledge-Graph-Engine der SAP HANA Cloud, in der Mitarbeitende, Skills, Projekte und Referenzen als Knowledge Graph abgebildet sind. Weiterführende Infos dazu finden sich hier: Success Story Chatbot Summy.

Kern der Integration ist ein eigener A2A-Server, dem das A2A-Protokoll zugrunde liegt. Dieser veröffentlicht eine Agent Card, ein maschinenlesbares Profil mit Namen, Fähigkeiten, unterstützten Ein- und Ausgabeformaten sowie Sicherheitsanforderungen des Agenten. SAP Joule liest diese Agent Card aus und weiss dadurch, was der Agent kann und wie er anzusprechen ist.

Jeder Aufruf aus Joule trägt ein Authentifizierungstoken des Cloud Identity Service der SAP BTP. Der Agentserver prüft das Token gegen den Identity Server der BTP und validiert dessen Gültigkeit. Nur die Agent Card ist öffentlich lesbar, alle anderen Endpunkte sind geschützt.

Antworten entstehen nicht in einem Schritt. Der Agent meldet jeden abgeschlossenen Verarbeitungsschritt als Zwischenstand zurück, so dass die Anwendenden jederzeit in Joule sehen, woran gerade gearbeitet wird. Die fertige Antwort übergibt der Agent zusätzlich als eigenes A2A-Artefakt — ein klar adressierbares Ergebnisobjekt, das Joule gezielt ausliest und als formatierten Text darstellt.

Im SAP Joule Studio werden die Fähigkeiten des Joule-Agenten beschrieben, dabei kommen die beiden Konzepte „Szenario“ und „Funktion“ zum Einsatz. Das Szenario agiert ähnlich wie die Agent Card und definiert wichtige Parameter des Joule-Agenten, beispielsweise seinen Namen und das zugehörige Funktionsszenario. Die Funktion beschreibt im nächsten Schritt die ausführbare Logik des Agenten, einschliesslich des Sendens von Nachrichten sowie des Aufrufs von APIs.

Unser Chatbot Summy ist vollständig in SAP Joule integriert! Anwendende stellen ihre Fragen zu Projekten, Mitarbeitenden und Kompetenzen direkt in SAP Joule, ohne ein separates User Interface oder Tool.

Das senkt den Suchaufwand: Eine einzige Abfrage liefert Informationen, die vorher über mehrere Systeme hinweg zusammengestellt werden mussten. Die Zwischenstände während der Verarbeitung machen zudem transparent nachvollziehbar, wie eine Antwort zustande kommt und welche Schritte der Agent ausführt.

Mit dem A2A-Standard steht die Grundlage für eine skalierbare Multi-Agenten-Architektur. Weitere Agenten — etwa für Ausschreibungsanalysen, Beratenden-Matching oder die Erstellung von CVs — lassen sich ohne Eingriff in die bestehende Architektur anbinden. Damit ist sie für viele weitere KI-Anwendungsfälle wiederverwendbar und neben Low-Code-Joule-Agents können auch vollständig eigenentwickelte KI-Agenten nahtlos in Joule eingebunden werden.