Kadlubek Thomas - KI-Agenten testen
KI-Agenten testen
Qualität, Sicherheit und Kontrolle autonomer KI-Systeme in der Praxis
Kadlubek Thomas
Mô tả
Wie prüfen Sie einen KI-Agenten, der Werkzeuge aufruft, Daten verändert und Geschäftsprozesse ausführt?Eine überzeugende Antwort allein sagt wenig über die Qualität eines Agentensystems aus. Entscheidend ist, ob es seine Aufgabe korrekt erledigt, Berechtigungen einhält und auch bei Fehlern kontrollierbar bleibt.KI-Agenten testen führt Sie von der Systemabgrenzung und testbaren Anforderungen über risikobasierte Teststrategien bis zu nachvollziehbaren Freigabeentscheidungen und der Überwachung im Betrieb.Sie erfahren, wie Sie:Function Calling, Werkzeugaufrufe und End-to-End-Workflows prüfen,Prompt Injection, unzulässige Datenzugriffe und fehlerhafte Zustandsänderungen erkennen,Memory, Multi-Agent-Systeme und Regressionen systematisch testen,Evaluationsmetriken und LLM-as-a-Judge mit geeigneten Bewertungsmaßstäben einsetzen,Messunsicherheit berücksichtigen und belastbare Quality Gates formulieren.Das ausdrücklich fiktive Praxisprojekt Nordlicht Services verbindet die Methoden mit konkreten Testfällen und Freigabeszenarien. Durchgerechnete Beispiele, ausfüllbare Vorlagen, Checklisten und ein ausführbarer Python-Kontrolltest unterstützen die Umsetzung im eigenen Projekt.Für Testmanager, Quality Engineers, QA-Leads und technische Projektverantwortliche, die KI-Agenten nachvollziehbar prüfen und begründet freigeben möchten.
