Entwicklung einer AI-Plattform auf Basis von Microsoft Azure

Die Umsetzung

Wir konzipierten und implementierten eine unternehmensweite AI Plattform auf Basis von Azure AI Foundry und AI Factory. Die Architektur ermöglicht es allen Geschäftsbereichen, KI-Services sicher zu nutzen – mit zentraler Governance, einheitlichen Guardrails und voller Kostentransparenz. Die Plattform wurde nach dem Prinzip „Secure by Default" aufgebaut: Private Endpoints, Entra ID Integration, rollenbasierte Zugriffssteuerung und Azure Policies stellen sicher, dass Compliance-Anforderungen automatisch eingehalten werden.

Vor der Implementierung führten wir umfangreiche Benchmarks durch: Verschiedene LLM-Modelle – darunter Azure OpenAI GPT-Varianten und Microsoft Copilot – wurden auf Antwortqualität, Latenz, Kosten und Eignung für die spezifischen Use Cases getestet. Das Ergebnis floss direkt in die Architekturentscheidungen ein. Als erste produktive Lösung entwickelten wir eine Enterprise Search auf Basis von LangChain. SharePoint, ServiceNow und SAP wurden als Quellsysteme angebunden und in Azure AI Search indexiert. Über eine Chat-basierte Web App können Mitarbeiter in natürlicher Sprache Fragen stellen und erhalten Antworten aus allen angebundenen Systemen – mit Quellenangabe und unter Berücksichtigung der bestehenden Berechtigungen. Das Ergebnis: Eine skalierbare AI Plattform mit fundierter Modellauswahl und einem sofort spürbaren Mehrwert – Unternehmenswissen zugänglich in Sekunden, basierend auf dem optimalen LLM für den jeweiligen Anwendungsfall.

Ergebnisse im Überblick

Angebundene Quellsysteme

Drei Systeme

SharePoint, ServiceNow und SAP in der Enterprise Search

Zentrale AI-Plattform

Eine Plattform

einheitliche Governance und Guardrails für alle Geschäftsbereiche

Kostentransparenz

100 %

zentrale Steuerung aller KI-Services über die Plattform

35% genauere Prognosen

Learnings

• LLM-Benchmarks vor der Architekturentscheidung zahlen sich aus: Antwortqualität, Latenz und Kosten unterscheiden sich je Use Case erheblich.
• „Secure by Default" verhindert Schatten-IT wirksamer als jedes Verbot — ein sicheres Self-Service-Angebot macht isolierte KI-Experimente überflüssig.
• Enterprise Search ist der ideale erste Use Case: sofort spürbarer Mehrwert für alle Geschäftsbereiche, ohne dass Quellsysteme ersetzt werden müssen.
• RAG funktioniert im Unternehmen nur mit Berechtigungen: Antworten müssen die bestehenden Zugriffsrechte der Quellsysteme respektieren.

Ausblick

Die Plattform ist seit Dezember 2024 produktiv und wird fortlaufend ausgebaut. Auf Basis der zentralen Governance können weitere Geschäftsbereiche eigene KI-Use-Cases umsetzen, ohne Sicherheits- und Compliance-Fragen jedes Mal neu zu klären. Die Anbindung zusätzlicher Quellsysteme an die Enterprise Search folgt demselben Muster wie bei SharePoint, ServiceNow und SAP. Neue LLM-Generationen werden anhand der etablierten Benchmarks bewertet und gezielt eingeführt — die Modellauswahl bleibt damit eine fundierte Entscheidung statt eines Bauchgefühls.

Service: AI & Custom Development