KI-Modelle betreiben: Qualität und Änderungen

Ein KI-Prototyp beantwortet zunächst die Frage, ob ein Ansatz grundsätzlich hilfreich sein kann. Im produktiven Betrieb kommen andere Anforderungen hinzu: Daten müssen im richtigen Kontext verarbeitet werden, Antwortqualität muss überprüfbar bleiben und Änderungen dürfen wichtige Abläufe nicht unbemerkt verschlechtern. Vor einer Beauftragung ist zu unterscheiden, ob ein extern bereitgestelltes Modell integriert oder ein Modell in eigener Infrastruktur betrieben werden soll.

Ausgangslage und Projektgrenzen

• Trennen Sie ein Modell als technische Komponente von der vollständigen KI-Anwendung mit Datenquellen, Nutzerrechten, Werkzeugen und fachlichem Ergebnis.
• Bestimmen Sie, wer Antwortqualität beurteilt und welche Fehlertypen für den Anwendungsfall besonders teuer oder störend sind.
• Erfassen Sie Lastverlauf, Datenempfindlichkeit und Integrationsbedarf, bevor gehostete Modell-API oder eigener Betrieb verglichen werden.

Zum Betrieb gehören versionierte Modelleinstellungen, Prompts und Datenanbindungen sowie ein wiederholbarer Evaluationsablauf. Ein Modellwechsel kann Antworten verändern, obwohl die Anwendung technisch fehlerfrei startet. Testfragen und fachliche Prüfkriterien müssen daher Teil des Releases sein. Protokollierung benötigt Grenzen, damit vertrauliche Eingaben nicht unbeabsichtigt dauerhaft gespeichert werden.

Architektur, Risiken und Aufwandstreiber

• Versionieren Sie Modell, Prompt, Werkzeugschema und Datenaufbereitung gemeinsam, damit eine Qualitätsänderung einer konkreten Veröffentlichung zugeordnet werden kann.
• Definieren Sie Grenzen für Laufzeit, Werkzeugaufrufe und Wiederholungen sowie ein nachvollziehbares Verhalten bei Modell- oder Providerfehlern.

Ein mögliches Betriebsszenario ist ein interner Assistent, dessen Modellanbieter eine neue Version bereitstellt. Die Änderung wird zuerst mit einem vereinbarten Fragenkatalog geprüft. Erst nach fachlicher Bewertung folgt eine kontrollierte Freigabe; die bisherige Konfiguration bleibt für einen Rückfall verfügbar. Dieses Beispiel beschreibt einen vorgeschlagenen Betriebsablauf und keine veröffentlichte GSWE-Kundenreferenz für Modellhosting.

Konkrete Prüffälle für den ersten Release

• Ein Modellupdate liefert bei denselben Fachfragen schlechtere Quellenbezüge. Ein festes Evaluationsset macht die Abweichung vor breitem Rollout sichtbar.
• Mehrere Nutzer starten umfangreiche Aufgaben gleichzeitig. Die Anwendung begrenzt Ausführung und zeigt wartende Vorgänge verständlich an.
• Ein KI-gestützter Prozess erreicht seine Laufzeitgrenze. Er beendet sich mit nachvollziehbarem Zustand und führt keine weiteren Änderungen unkontrolliert aus.

Für den Leistungsumfang sollten Datenarten, Hostingvorgaben, Nutzerzahlen, Lastspitzen und Verfügbarkeitsanforderungen festgehalten werden. Beim Eigenbetrieb kommen Kapazitätsplanung und die Betreuung der Modellinfrastruktur hinzu. Fachliche Verantwortung für Antworten und technische Verantwortung für den Dienst benötigen jeweils eindeutige Ansprechpartner.

Definieren Sie für jedes produktive Modell eine freigegebene Version, einen fachlichen Prüfsatz und einen Rückfallweg. Ein Modellwechsel sollte gegen dieselben Aufgaben bewertet werden; vergleichen Sie dabei Antwortqualität, Laufzeit und Ressourcenverbrauch. Legen Sie fest, wer Änderungen an Prompts, Datenquellen und Zugriffsrechten freigibt. So wird der Betrieb nicht auf die Verfügbarkeit eines Endpunkts reduziert, sondern umfasst die Qualität der tatsächlich genutzten Funktion.

Trennen Sie die Verfügbarkeit des Modellendpunkts von der Qualität seiner Antworten. Ein technisch erreichbares Modell kann fachlich ungeeignete Ergebnisse liefern. Definieren Sie deshalb neben Betriebskennzahlen einen gepflegten Satz fachlicher Prüffälle und eine Entscheidung, wann eine neue Modellversion zurückgestellt oder zurückgenommen wird.

Entscheidungshilfe für die Beauftragung

• Fordern Sie ein Evaluationsverfahren mit fachlich bewerteten Beispielen und Kriterien für Freigabe oder Rücknahme einer Modelländerung.
• Vereinbaren Sie Protokollierung ohne unnötige Speicherung vertraulicher Eingaben und klären Sie Zugriff sowie Aufbewahrung.

Für ein vergleichbares Angebot

• Modellanbieter, eingesetzte Versionen, Datenflüsse und aktuelle Qualitätsprüfungen erfassen.
• Alarmierung für Ausfälle, Latenz und unerwarteten Verbrauch mit Zuständigkeiten verbinden.
• Einen Modellwechsel anhand fester Prüffälle und eines praktisch überprüften Rückfallwegs freigeben.

Ein kontrollierter KI-Betrieb verbindet Softwarebetrieb mit kontinuierlicher Qualitätsbewertung. Die reine Erreichbarkeit einer Modell-API ist dafür nicht ausreichend. Eine begrenzte erste Anwendung mit klaren Prüfkriterien macht Aufwand und Nutzen besser bewertbar und schafft eine Grundlage für spätere zusätzliche Modelle oder Anwendungsfälle.

Nutzen bewerten und den Ausbau begrenzen

• Bewerten Sie erfolgreiche fachliche Ergebnisse, notwendige Korrekturen und Bearbeitungszeit zusammen mit technischen Antwortzeiten.
• Erweitern Sie Automatisierung nur dort, wo Fehler erkannt und begrenzt werden können und eine verantwortliche Person Ausnahmen übernimmt.

Legen Sie die eingesetzten KI-Modelle, heutige Prüffälle und ungeklärte Betriebsaufgaben offen. GSWE plant mit Ihren Verantwortlichen die Übernahme von Monitoring, Fehlerbearbeitung und kontrollierten Modellwechseln.

Den Betrieb einer KI-Anwendung übergeben: AI-Governance-Plattform für KI-Betrieb.