AI Quality Testing Framework:
Aufbau, Anwendung und Nutzen
Künstliche Intelligenz hält in immer mehr Unternehmen Einzug – von Chatbots über Empfehlungssysteme bis hin zu KI gestützten Entscheidungen im HR oder Finanzbereich. Doch für die Anbieter vieler KI-Produkte stellt sich eine zentrale Frage:
Wie demonstriere ich, dass eine KI leistungsfähig, sicher und vertrauenswürdig ist?
Genau hier setzt das AI Quality Testing Framework an. Wir helfen Unternehmen und Organisationen praxisnah, ihre KI nachvollziehbar zu bewerten und zu verbessern, bevor Probleme in der Produktion, bei Kunden oder in Audits auftauchen.
Das Framework bietet Unternehmen eine einfache und flexible Möglichkeit, die Qualität von KI-Systemen zu testen und so Wettbewerbsvorteile zu erzielen. Das Audit kann in unterschiedlichen Prüftiefen durchgeführt werden. Dazu bieten wir ein 3-stufiges Paketmodell an (Core / Plus / Deep), das die Anforderungen von einer dokumentenbasierten Erstprüfung bis zur reproduzierbaren technischen Validierung abdeckt.
In diesem Beitrag erläutern wir, was das AI Quality Testing Framework ist und wie der Auditprozess funktioniert.
Warum ein AI Quality Testing Framework?
KI wirkt nicht nur auf Systeme, sondern auch auf Menschen – auf Nutzende, Kunden, Bürger oder Mitarbeitende. KI trifft Entscheidungen, priorisiert Inhalte, empfiehlt Maßnahmen oder automatisiert Schritte, die früher Menschen vorgenommen haben. Je mehr Einfluss KI erhält, desto wichtiger wird die Frage, ob die KI tatsächlich das tut, was sie tun soll.
Das AI Quality Testing Framework bietet hier eine strukturierte Vorgehensweise, die Qualität eines KI-Systems zu testen und verbindlich nachzuweisen. Im Mittelpunkt stehen drei Aspekte:
1. Ist die KI gut genug?
Hier geht es um die Analyse der Qualität, Robustheit und Leistungsfähigkeit eines KI-Systems oder einer KI-Komponente im realen Einsatz.
2. Welche Risiken gibt es?
Dies betrifft etwa Bias, Fairness, Datenschutz, Sicherheit oder fehlende Systemkontrolle.
3. Wie kann die Qualität belegt werden?
Es wird eine belastbare Dokumentation mit (technischen) Evidenzen für die KI-Systemqualität aufgebaut.
Ziel ist es, die Qualitätseigenschaften einer KI zu demonstrieren und dadurch Vertrauen zu schaffen.
Was zeichnet das AI Quality Testing Framework aus?
Die AI Quality & Testing Hub GmbH ist Partner des vom Bundesdigitalministerium initialisierten Mission KI Konsortiums, das einen KI-Qualitätsstandard für Niedrig-Risiko-KI-Systeme entwickelt hat. Wir haben den Mission KI Standard unter Berücksichtigung zusätzlicher KI-Qualitäts-Frameworks und Best Practice-Vorgehensweisen erweitert, so dass dieser einfach und flexibel auf unterschiedliche KI-Qualitätsfragestellungen in unterschiedlichen Anwendungsfällen und Branchen angewendet werden kann.
Eine besondere Eigenschaft des AI Quality Testing Frameworks ist seine Kompatibilität mit der europäischen KI-Verordnung (EU AI Act). Diese ist 2024 in Kraft getreten und betrifft Anbieter und Betreiber von KI-Systemen in unterschiedlichem Umfang. Für den AI Act gelten eine Reihe von Übergangsbestimmungen, die zur Folge haben, dass einzelne Anforderungen erst nach und nach zum Tragen kommen. Zum gegenwärtigen Zeitpunkt fehlen harmonisierte Normen, so dass die praktische Umsetzung gesetzlicher Anforderungen nur bedingt möglich ist. Darüber hinaus sind umfangreiche Änderungen am Gesetz seitens der EU-Kommission vorgeschlagen worden. Dies hat zur Folge, dass aus Sicht eines KI-Anbieters oder KI-Betreibers die Schwierigkeit besteht, nicht zu wissen, welche Compliance-Anforderungen der Gesetzgeber absehbar verlangt.
Hier greift die Kompatibilität des AI Quality Testing Frameworks: Sollten zukünftig neue Anforderungen des AI Acts verbindlich werden, kann das Framework entsprechend angepasst oder erweitert werden. Doppelaufwände werden vermieden.
Das Audit nach AI Quality Testing Framework
im Kurzprofil
An wen richtet sich das Audit?
Das Audit gemäß AI Quality Testing Framework richtet sich an Unternehmen und Organisationen, die Künstliche Intelligenz in ihre Produkte oder Geschäftsprozesse integrieren und dabei Risiken, Qualitätsanforderungen sowie erforderliche Nachweise – intern oder extern gegenüber Kunden, Behörden, Förderern, Investoren oder Regulatoren – strukturiert und zuverlässig steuern wollen.
Was beinhaltet das Audit:
- Qualitätsprüfung von KI-Systemen entlang klar definierter Kriterien, die sowohl für technische Teams als auch für das Management verständlich sind
- risikoorientierte Prüftiefe, d.h. Umfang und Detailgrad richten sich nach Schutzbedarf, Risiko und potenziellen Auswirkungen des KI-Systems
- standardisierte Prüfmethodik inklusive Checklisten, definierten Bewertungskriterien und strukturierten Evidenzanforderungen
- dokumentierte Ergebnisse in Form eines nachvollziehbaren Prüf- und Bewertungsberichts
- optional eine ergänzende Empfehlung, technische Validierung oder ein Statement/Badge für die interne oder externe Kommunikation
Was ist das Ergebnis des Audits:
- ein Assessment mit klarer Einordnung, welche Aspekte des KI-Systems unkritisch, kritisch oder noch ungeklärt sind
- ein Evidenzregister, das transparent darstellt, welche Nachweise welche Bewertung oder Aussage stützen
- eine priorisierte Maßnahmenliste mit kurzfristigen Verbesserungen und strukturellen Handlungsempfehlungen
- optional: ein prüfbares Statement, das die Durchführung der Qualitätsprüfung dokumentiert und für interne und externe Stakeholder nutzbar ist.
Der Auditprozess im Einzelnen
Das vollständige Audit gemäß AI Quality Testing Framework durchläuft einen Prozess aus 6 Schritten:
- Definition der Zweckbestimmung
- Identifikation von Risiken
- Festlegung der Qualitätsanforderungen
- Bereitstellung von Nachweisen
- Validierung der Nachweise
- Erstellung des Prüfberichts
Im Folgenden eine kurze Erläuterung der einzelnen Schritte.
1. Definition der Zweckbestimmung
Zunächst werden der spezifische Anwendungsfall und die Zweckbestimmung der KI definiert. Dies umfasst beispielsweise folgende Aspekte:
- Einsatzkontext, Eingabe- und Ausgabebereich
- Nutzergruppen und Betroffene
- Architekturbeschreibung inkl. Komponenten
- Angaben zum Betrieb (Cloud/On‑premise, kontinuierliches Lernen usw.)
- ggf. Ausschlüsse bestimmter Nutzungsaspekte
Im Ergebnis ist die KI eindeutig spezifiziert, so dass der spezifische Prüfkontext ersichtlich wird.
2. Identifikation von Risiken
Das AI Quality Testing Framework basiert auf der Betrachtung sechs grundlegender Qualitätsdimensionen. Diese sind:
- Datenqualität, Datenschutz, Daten-Governance
- Nicht-Diskriminierung (Fairness)
- Transparenz (Erklärbarkeit, Dokumentation)
- Menschliche Aufsicht und Kontrolle
- Verlässlichkeit (Leistungsfähigkeit, Robustheit)
- KI-spezifische Cybersicherheit
Entlang dieser Qualitätsdimensionen erfolgt eine systematische Identifikation von Risiken, die von der KI ausgehen. Grundlage sind unterschiedliche Schadenskategorien, zum Beispiel in Bezug auf Leib und Leben, auf Grundrechte, auf Datenschutz oder auf Eigentum. Im Ergebnis entsteht ein KI-spezifisches Risikoprofil.
3. Festlegung der Qualitätsanforderungen
Anhand des spezifischen Risikoprofils werden dann die konkreten Qualitätsanforderungen an die KI abgeleitet. Dies ist ein entscheidender Prozessschritt, um eine „maßgeschneiderte“ Validierung von Qualitätsanforderungen umsetzen zu können. Erst die genaue Analyse, welche Nachweise und Prüfungen tatsächlich erforderlich und angemessen sind, macht das AI Quality Testing Framework modular und flexibel, so dass es in unterschiedlichen Anwendungsszenarien und Anwendungsdomänen einsetzbar ist.
4. Bereitstellung von Nachweisen
Für die Qualitätsanforderungen werden die erforderlichen Nachweise zusammen- bzw. bereitgestellt. Die Nachweise sind geeignet, die Umsetzung der spezifischen Qualitätsanforderungen nachvollziehbar zu belegen. Dies können zum Beispiel sein:
- Dokumentationen (Prozesse, Policies, Modelle, Datenbeschreibungen)
- technische Nachweise (Testergebnisse, Logs, Codeauszüge, Metriken)
- bereits vorhandene Zertifizierungen (z. B. DSGVO, ISO 27001)
Im Ergebnis liegt eine validierbare Informationsgrundlage vor.
5. Validierung der Nachweise
Es folgt die Validierung der Nachweise, d.h. die eigentliche Prüfung der KI. Dazu greifen wir ergänzend auf eine umfangreiche Sammlung von Prüfmethoden und Prüfwerkzeugen zur methodischen und prüftechnischen Absicherung zu. Technische Nachweise müssen belastbar und reproduzierbar sein. Im Ergebnis wird sichergestellt, dass die Nachweise korrekt, plausibel und wiederholbar sind.
6. Erstellung des Prüfberichts
Der abschließende Prüfbericht enthält:
- Systembeschreibung und Einsatzkontext
- dokumentierte Nachweise (Maßnahmen, Evidenzen)
- Prüftiefe, Validierungen, verantwortliche Personen
- formale Erklärung über die Richtigkeit
- ggf. Empfehlungen
Im Ergebnis liegt eine vollständige und nachvollziehbare Dokumentation der Validierung der KI vor.
Fazit
Ein bestandenes Audit nach dem AI Quality Testing Framework bietet Unternehmen einen klaren strategischen Vorteil.
- Es dient nicht nur als belastbarer Qualitätsnachweis, sondern schafft darüber hinaus echte operative und langfristige Mehrwerte. Der strukturierte Prüfprozess ermöglicht die frühzeitige Erkennung systemischer Risiken – etwa hinsichtlich Datenqualität, Modellrobustheit oder Governance – und stärkt gleichzeitig Vertrauen und Reputation bei Kunden, Partnern sowie Aufsichtsstellen.
- Die wiederholte Anwendung des Frameworks professionalisiert interne Entwicklungs‑ und Dokumentationsprozesse, schafft klare Verantwortlichkeiten und erhöht die Nachvollziehbarkeit über den gesamten KI‑Lebenszyklus hinweg. Zudem erleichtert ein erfolgreiches Audit die Vorbereitung auf regulatorische Anforderungen, insbesondere im Kontext der EU‑KI‑Verordnung, da zentrale Prinzipien der europäischen Regulierung bereits berücksichtigt werden und mögliche Lücken frühzeitig identifizierbar sind.
- Als AI Quality Hub in Hessen – getragen vom VDE e.V. und dem Land Hessen – verbinden wir technische Standardisierungs- und Prüfkompetenz mit einem öffentlichen Auftrag und bringen diese Perspektive in die Weiterentwicklung des Frameworks ein. Unternehmen profitieren dadurch von erhöhter Vertrauenswürdigkeit, reduzierten Risiken, optimierten Entwicklungsprozessen und klaren Wettbewerbsvorteilen. Ein dokumentierter Auditprozess schafft zudem ein Qualitätslabel, das die Einhaltung definierter Standards transparent belegt.
Für Organisationen, die KI-Systeme bereits einsetzen oder deren Einführung planen, stellt dieser freiwillige Qualitätsnachweis somit einen deutlichen Vorsprung dar – sowohl hinsichtlich interner Qualitätssicherung als auch mit Blick auf künftig verpflichtende regulatorische Vorgaben.
Das Audit kann in unterschiedlichen Prüftiefen durchgeführt werden. Dazu bieten wir ein 3-stufiges Paketmodell an (Core / Plus / Deep), das die Anforderungen von einer dokumentenbasierten Erstprüfung bis zur reproduzierbaren technischen Validierung abdeckt.
Bitte sprechen Sie uns gerne an!