Tabelle zur Bewertung von KI-Agenten
Dieser Artikel bietet einen klaren Überblick über die Ergebnisse der Evaluierung (Evals), das erwartete im Vergleich zum tatsächlichen Verhalten sowie Ressourcen zur Fehlerbehebung für KI-Agenten in Tulip.
Übersicht
Eine systematische Bewertung von KI-Agenten ist unerlässlich, um sicherzustellen, dass sie zuverlässig und präzise sind und die Leistungsbenchmarks auf Unternehmensniveau erfüllen – insbesondere für den Einsatz in Produktionsumgebungen, regulierten oder anderweitig sensiblen Umgebungen.
Evals-Tabellen sind Werkzeuge zur Messung der Leistung von KI-Agenten bei einer Reihe von realistischen Aufgaben. Durch den Vergleich von erwarteten und tatsächlichen Ergebnissen in standardisierten Szenarien können Sie Lücken erkennen, Verbesserungen anleiten und Regressionen im Zeitverlauf verfolgen. Die konsequente Nutzung von Evals sorgt für Transparenz, Wiederholbarkeit und Vertrauen im Lebenszyklus Ihrer Agenten.
Warum Evals nutzen?
- Zuverlässigkeit: Stellen Sie sicher, dass sich Agenten wie beabsichtigt verhalten, bevor Sie sie flächendeckend einsetzen.
- Rückverfolgbarkeit: Dokumentieren Sie Entscheidungsprozesse und Änderungen im Zeitverlauf.
- Benchmarking: Vergleichen Sie Agenten, Eingabeaufforderungen oder Konfigurationen schnell miteinander.
- Fehlerbehebung: Verfolgen Sie Fehler und überwachen Sie Verbesserungen von Release zu Release.
- Kontinuierliche Verbesserung: Schaffen Sie eine Feedbackschleife für die Entwicklung von Prompts und Agenten.
Lebenszyklus eines Agenten
- Agent erstellen
Den Umfang, die Tools und die anfängliche Eingabeaufforderung des Agenten definieren. - Ausführen von Evaluierungen
Testen Sie den Agenten anhand der Eingabeaufforderungen in der Evaluierungstabelle. - Leistung dokumentieren
Erfassen Sie die erwarteten und tatsächlichen Ergebnisse sowie die Ergebnisse „bestanden“ oder „nicht bestanden“. - Verfeinern Sie die Eingabeaufforderung
Aktualisieren oder ändern Sie die Eingabeaufforderung, um weitere Anwendungsfälle abzudecken oder das Verhalten zu verbessern. - Führen Sie die „Evals“ erneut durch
Führen Sie den Test erneut mit denselben Prompts und demselben Datensatz durch, um einen fairen Vergleich zu gewährleisten. - Iterieren
Wiederholen Sie diesen Zyklus, bis der Agent die Leistungskriterien konsistent erfüllt.
So verwenden Sie die Auswertungen
- Definieren Sie klare Testanweisungen:
Wählen Sie realistische Benutzeranweisungen oder Szenarien aus, die der Agent bewältigen muss. - Legen Sie erwartete Ergebnisse fest:
Notieren Sie für jedes Szenario präzise, messbare Erfolgskriterien. - Führen Sie den Agenten aus:
Testen Sie den Agenten unter kontrollierten Bedingungen mit jeder Eingabeaufforderung. - Dokumentieren Sie die tatsächlichen Ergebnisse:
Erfassen Sie die tatsächliche Ausgabe oder das beobachtete Verhalten des Agenten. - Bewertung „Bestanden/Nicht bestanden“:
Hat der Agent die Kriterien erfüllt? Markieren Sie entsprechend. - Kommentare hinzufügen:
Notieren Sie Lücken, unerwartete Verhaltensweisen oder Verbesserungsvorschläge. - Erstellen Sie einen „Golden Dataset“: Eine kuratierte Sammlung von Beispielen, die die Kernanwendungsfälle des Agenten abdeckt. Testen Sie jede Änderung der Eingabeaufforderung anhand dieses Datensatzes und übernehmen Sie sie nur dann in die Produktion, wenn sich die Metriken verbessern; andernfalls wiederholen Sie den Vorgang.
So lesen Sie die Bewertungstabelle
| Spalte | Beschreibung |
|---|---|
| Prompt | Die dem Agenten vorgegebene Benutzereingabe oder das Szenario (das, was Sie testen). |
| Erwartetes Ergebnis | Die spezifische, korrekte Ausgabe, die Sie in dieser Situation vom Agenten erwarten. |
| Tatsächliches Ergebnis | Was der Agent als Reaktion auf die Eingabe tatsächlich ausgegeben oder getan hat. |
| Bestanden/Nicht bestanden | „Bestanden“, wenn erwartetes und tatsächliches Ergebnis übereinstimmen; andernfalls „Nicht bestanden“. |
| Anmerkungen/Kommentare | Erläuterungen, Informationen zur Fehlerbehebung oder Hintergrundinformationen zum Ergebnis. |
Beispiel für eine Auswertungs-Tabelle
| Agentenname: Beispiel-QA-Assistent |
|---|
| Eingabeaufforderung | Erwartetes Ergebnis | Tatsächliches Ergebnis | Bestanden/Nicht bestanden | Anmerkungen/Kommentare ||---------------------------------|-----------------------------------------------|-------------------------------------------------|----------------------|-----------|-----------------------------------|| „Fasse das Protokoll von gestern zusammen.“ | Prägnante, genaue Zusammenfassung mit den wichtigsten Kennzahlen. | Zusammenfassung korrekt, Abschnitt zu Ausfallzeiten fehlt. | Durchgefallen | Prompt bezüglich Ausfallzeitinformationen verbessern. || „Finde alle offenen Bestellungen für Linie 3“ | Korrekte Liste der offenen Bestellungen für Linie 3. | Alle offenen Bestellungen wurden zurückgegeben und waren korrekt. | Bestanden | || „Tagesabschlussbericht erstellen.“ | Vollständiger Bericht einschließlich QA-Ereignissen. | Abschnitt zu QA-Ereignissen fehlt. | Durchgefallen | Integration der QA-Ereignisdaten überprüfen. |
Weiterführende Literatur
Fehlerbehebung
Wenn Sie Probleme mit KI-Agenten haben, Fragen zu den Bewertungskriterien haben oder Feedback geben möchten, besuchen Sie die Tulip Community.