KI-Antworten mit festen Prüffällen bewerten

Bei einer KI-Anwendung kann dieselbe Aufgabe unterschiedlich beantwortet werden. Für eine kontrollierte Weiterentwicklung braucht es deshalb feste Aufgaben mit nachvollziehbaren Bewertungskriterien. Die Auswahl sollte die tatsächliche Nutzung und ihre schwierigen Randfälle abbilden.

Fachliche Qualität konkret beschreiben

• Typische Aufgaben, unvollständige Eingaben und widersprüchliche Quellen aufnehmen.
• Erwartete Kernaussagen und unzulässige Behauptungen festhalten.
• Quellenbezug, Vollständigkeit und erforderliche Rückfragen getrennt bewerten.
• Ergebnisse nach Modell-, Prompt- oder Datenänderungen vergleichen.

Ein Assistent, der bei fehlenden Informationen eine präzise Rückfrage stellt, kann hilfreicher sein als eine flüssige, aber unbelegte Antwort. Diese Unterscheidung muss sich in der Bewertung wiederfinden. Reine Textähnlichkeit ist dafür oft zu wenig.

Die Prüfsammlung wächst mit real beobachteten Fehlern. Persönliche und vertrauliche Daten werden dafür bereinigt oder durch geeignete Testdaten ersetzt. So entsteht eine nachvollziehbare Grundlage für die Entscheidung, welche Änderung produktiv eingesetzt wird.