Risikomanagement für KI ist der systematische Prozess zur Identifikation, Bewertung und Behandlung von Risiken, die von KI-Systemen ausgehen oder diese betreffen. Er ist Kernanforderung des EU AI Act für Hochrisiko-Systeme und von ISO/IEC 42001.
Definition
Risikomanagement für KI umfasst die fortlaufende Identifikation, Analyse, Bewertung und Behandlung von Risiken über den gesamten Lebenszyklus eines KI-Systems. Der EU AI Act verlangt für Hochrisiko-Systeme ein Risikomanagementsystem, das geplante Anwendungen, vorhersehbare Fehlverwendungen und Risiken für Gesundheit, Sicherheit und Grundrechte berücksichtigt. ISO/IEC 42001 ergänzt dies um eine KI-Risikobewertung und eine KI-Auswirkungsbewertung auf System- und Organisationsebene. Typische KI-Risiken sind Verzerrungen in Trainingsdaten, mangelnde Erklärbarkeit, Halluzinationen, Datenqualitätsprobleme und Cyberangriffe. Maßnahmen umfassen Daten-Governance, Tests, menschliche Aufsicht und Überwachung im Betrieb. Das Risikomanagement ist zu dokumentieren und kontinuierlich zu verbessern.
Praxisbezug
Ein Unternehmen, das ein KI-System zur Angebotskalkulation einsetzt, bewertet Risiken wie verzerrte Trainingsdaten und fehlerhafte Empfehlungen. Es führt eine menschliche Freigabe der Ergebnisse ein, überwacht die Trefferqualität und dokumentiert das Risikomanagement für die Konformitätsbewertung.
Normbezug
EU AI Act (Verordnung (EU) 2024/1689), Artikel 9; ISO/IEC 42001; ISO/IEC 23894