Maurice Müller
Senior Content Manager
Maurice Müller ist Journalist und Content-Stratege mit Erfahrung im Print- und Digitalbereich. Bei Formalize verwandelt er komplexe Compliance- und Regulierungsthemen in klare, praxisnahe Inhalte für Compliance-, Risiko- und Sicherheitsexperten in ganz Europa.
Wichtige Erkenntnisse:
KI-Risikomanagement identifiziert, bewertet, mindert und überwacht Risiken, die spezifisch für KI-Systeme sind, zusätzlich zum allgemeinen Risikomanagement einer Organisation.
Die Risiken lassen sich in wenige wiederkehrende Kategorien einteilen: Daten und Datenschutz, Modellzuverlässigkeit, Verzerrung und Verantwortlichkeit sowie Sicherheits-, Betriebs- und Compliance-Risiken.
Das NIST AI Risk Management Framework gliedert diese Arbeit in vier Funktionen: Steuern, Erfassen, Messen und Handhaben.
KI-Risikomanagement ist nicht dasselbe wie KI-Governance. Governance ist das übergeordnete System aus Richtlinien und Aufsicht; Risikomanagement ist die konkrete Arbeit, KI-Risiken innerhalb dieses Systems zu erkennen und zu handhaben.
Software kann KI-Systeme an einer zentralen Stelle mit ihren Risiken, Verantwortlichen und Kontrollen verknüpfen, entscheidet aber nicht, ob ein bestimmtes KI-System sicher ist. Diese Beurteilung obliegt weiterhin der Organisation.
Die meisten Organisationen betreiben bereits eine Form von Risikomanagement. KI fügt dem jedoch eine neue Dimension hinzu, für die klassische Risikoprozesse nicht ausgelegt sind: Modelle, die sich nach der Implementierung anders verhalten als in der Testphase, und Ergebnisse, die selbst für ihre Entwickler oft schwer nachvollziehbar sind.
Warum ist KI-Risikomanagement wichtig?
Ein versagendes KI-System bleibt selten ohne Konsequenzen. Ein verzerrtes Modell kann bei der Personalauswahl Bewerber benachteiligen, bevor jemandem der systematische Fehler auffällt. Ein kundenorientierter Chatbot kann selbstbewusst falsche Antworten geben. Ein Modell, das mit den falschen Daten trainiert wurde, kann Informationen preisgeben, auf die es nie hätte zugreifen dürfen.
Das ist keine hypothetische Sorge. Die Zahl gemeldeter KI-bezogener Vorfälle stieg 2024 auf 233 an. Das ist ein Anstieg von 56,4 % gegenüber dem Vorjahr, wie aus dem “2025 AI Index Report” von Stanford hervorgeht, der sich auf die “AI Incident Database” stützt. Derselbe Bericht stellte fest, dass zwar die meisten Organisationen ihre zentralen KI-Risiken benennen können, aber deutlich weniger tatsächlich Maßnahmen ergreifen, um ihnen zu begegnen.
KI-Risikomanagement dient genau dazu, solche Fehler abzufangen, bevor echter Schaden entsteht. Das ist aus mehreren Gründen relevant: Es schützt die betroffenen Menschen, stellt die Einhaltung von Compliance-Pflichten sicher, bewahrt vor schweren Reputationsschäden und sichert die Qualität von Entscheidungen, die zunehmend auf KI-Ergebnissen basieren.
An dieser Stelle lohnt sich eine klare Einordnung: Risikomanagement soll die Einführung von KI nicht ausbremsen. Richtig umgesetzt, ermöglicht es einer Organisation vielmehr, Chancen und Risiken fundiert gegeneinander abzuwägen, anstatt erst aus schmerzhaften Fehlern zu lernen.
Was sind die wichtigsten Arten von KI-Risiken?
KI-Risiken lassen sich im Allgemeinen in vier Kategorien einteilen: Daten und Datenschutz, Modell und dessen Zuverlässigkeit, Verzerrung und Verantwortlichkeit sowie Sicherheits-, Betriebs- und Compliance-Risiken.
Daten- und Datenschutzrisiken
KI-Systeme sind immer nur so gut wie die Trainingsdaten, auf denen sie basieren. Trainingsdaten von schlechter Qualität, unvollständige oder ungeeignete Daten führen zu unzuverlässigen Ergebnissen. Unabhängig davon werfen KI-Systeme, die personenbezogene Daten oder andere sensible Informationen verarbeiten, dieselben Datenschutzfragen auf wie jedes andere System, das mit solchen Daten arbeitet. Allerdings verarbeiten KI-Modelle diese Daten in der Regel in einem deutlich größeren Umfang. Zudem entsteht ein Risiko für Datenlecks, wenn diese Informationen später in der Ausgabe eines Modells auftauchen.
Risiken der Modellzuverlässigkeit
Ergebnisse können ungenau sein. Generative Modelle können selbstbewusste, plausible Antworten liefern, die schlicht falsch sind. Ein Fehlerverhalten, das häufig als KI-Halluzination bezeichnet wird. Die Zuverlässigkeit kann sich mit der Zeit auch verschlechtern, wenn die Daten, mit denen ein Modell im laufenden Betrieb konfrontiert wird, von den Trainingsdaten abweichen. So kann ein Modell, das in Tests gut abgeschnitten hat, Monate später unzuverlässiger werden, ohne dass jemand etwas verändert hat.
Verzerrung, Transparenz und Verantwortlichkeit
Ein Modell kann unterschiedliche Gruppen systematisch benachteiligen, mitunter ohne erkennbaren Grund. Viele KI-Systeme, insbesondere komplexe, lassen sich nur schwer vollständig erklären, wodurch es schwierig wird, genau zu benennen, warum ein bestimmtes Ergebnis zustande kam. Das wiederum erschwert es zu klären, wer verantwortlich ist, wenn dabei etwas schiefgeht.
Sicherheits-, Betriebs- und Compliance-Risiken
KI-Systeme können missbraucht, manipuliert oder in einer Weise genutzt werden, die einen Single Point of Failure entstehen lässt. Viele Organisationen setzen auf Modelle und APIs von Drittanbietern. Dadurch entsteht eine externe Abhängigkeit, über die die eigenen Teams keine volle Kontrolle mehr haben. Darüber hinaus kann der Einsatz von KI Verpflichtungen gemäß der EU-KI-Verordnung (EU AI Act) oder anderen geltenden Vorschriften auslösen. Diese Vorgaben greifen völlig unabhängig davon, ob eine Organisation sie intern bereits identifiziert hat oder nicht.
Was ist das NIST AI Risk Management Framework?
Das NIST AI Risk Management Framework (AI RMF) ist eine freiwillige Leitlinie, die vom US-amerikanischen National Institute of Standards and Technology im Januar 2023 veröffentlicht wurde. Es bietet Organisationen einen strukturierten Ansatz, um KI-Risiken über den gesamten Lebenszyklus eines Systems hinweg zu steuern, von der Konzeption über den produktiven Einsatz bis hin zur endgültigen Außerbetriebnahme. Das Framework ist allerdings nicht zertifizierbar. Es gibt also kein Audit, an dessen Ende ein offizielles Zertifikat „AI RMF-zertifiziert“ ausgestellt wird. Vielmehr liefert es Organisationen eine einheitliche Struktur und ein gemeinsames Vokabular für den praktischen Umgang mit diesen Risiken.
Das Framework gliedert diese Arbeit in vier Funktionen.
KI-Risiken steuern
Hier werden die Richtlinien, Rollen und Verantwortlichkeiten festgelegt, auf denen die anderen drei Funktionen aufbauen. Dazu gehört die Pflege eines Inventars der KI-Systeme mit einem benannten Verantwortlichen für jedes System. Govern ist kein Schritt, der nur einmal am Anfang stattfindet. Diese Funktion läuft die gesamte Zeit über unter den anderen drei mit.
KI-Risiken erfassen
Hier geht es darum, das KI-System selbst zu verstehen: was es tut, wen es betrifft und in welchem Kontext es eingesetzt wird. In dieser Phase identifiziert eine Organisation die Risiken, die für ein bestimmtes System tatsächlich relevant sind, statt von einer generischen Checkliste auszugehen.
KI-Risiken messen
Hier werden die zuvor identifizierten Risiken bewertet, mit einer jeweils passenden Kombination aus quantitativen und qualitativen Methoden. Nicht jedes KI-Risiko lässt sich auf eine einzelne Kennzahl reduzieren, und das Framework gibt dies auch nicht vor.
KI-Risiken handhaben
Hier werden die gemessenen Risiken priorisiert und entsprechende Maßnahmen ergriffen: mindern, akzeptieren, übertragen oder in manchen Fällen die Entscheidung treffen, ein System nicht einzusetzen. Hier findet auch die laufende Überwachung statt, denn ein Risiko, das beim Start akzeptabel war, bleibt es nicht zwangsläufig auch weiterhin.
KI-Risikomanagement vs. KI-Governance
Die beiden Begriffe werden häufig synonym verwendet, weshalb sich eine klare Abgrenzung lohnt.
KI-Governance | KI-Risikomanagement | |
|---|---|---|
Umfang | Das übergeordnete System aus Richtlinien, Rollen und Aufsicht für den Einsatz von KI in einer Organisation | Die konkrete Arbeit zur Identifizierung, Bewertung und Behandlung von KI-bezogenen Risiken |
Beantowrtet die Fragen | Wer darf was entwickeln oder nutzen, und nach welchen Regeln? | Was könnte bei diesem System schiefgehen, und was unternehmen wir dagegen? |
Zusammenhang | Gibt die Struktur vor, innerhalb derer das Risikomanagement erfolgt | Gehört zu den Kernaufgaben der Governance und ist kein eigenständiges Programm |
In der Praxis ist KI-Risikomanagement das, was KI-Governance auf der Ebene eines einzelnen Systems konkret bedeutet.
KI-Risikomanagement-Prozess in 6 Schritten
Ein Großteil der allgemeinen Risikomanagement-Methodik lässt sich hier unverändert anwenden. Die KI-spezifischen Besonderheiten zeigen sich vor allem ganz am Anfang des Prozesses: nämlich bei der Identifikation der Risiken, noch bevor diese überhaupt eingestuft werden.
Ein Inventar der KI-Systeme und Anwendungsfälle aufbauen. Dazu gehören intern entwickelte Systeme ebenso wie Drittanbieter-Tools mit KI-Funktionen, die leicht übersehen werden, wenn sich die Bestandsaufnahme ausschließlich auf selbst entwickelte KI-Lösungen konzentriert.
Verantwortliche und Zuständigkeiten festlegen. Für jedes KI-System braucht es jemanden, der dafür verantwortlich ist, und nicht nur ein Team, das es zufällig betreut.
Die für jedes System relevanten Risiken identifizieren. Ein kundenorientiertes Modell birgt andere Risiken als ein internes Tool zum Verfassen von Texten. Generische Risikokategorien sind nur ein Startpunkt, liefern aber noch keine fertigen Ergebnisse.
Bewerten und priorisieren. Nicht jedes KI-Risiko erfordert die gleiche Prüftiefe. Ein kundenorientiertes Modell, das Entscheidungen über Personen trifft, sollte genauer geprüft werden als ein internes Tool, das lediglich erste Textentwürfe erstellt. Ein Risikomanagement-Framework, das bereits für die restliche Organisation etabliert ist, lässt sich auf KI ausweiten, anstatt einen separaten Prozess für KI-Systeme aufzusetzen.
Kontrollen und Minderungsmaßnahmen festlegen. Speziell bei KI bedeutet das häufig eine menschliche Überprüfung an festgelegten Kontrollpunkten, laufende Überwachung der KI-Ergebnisse oder Einschränkungen, auf welche Daten ein System zugreifen darf, zusätzlich zu den bereits geltenden konventionellen Kontrollen.
Kontinuierliche Überwachung. Im Gegensatz zu klassischer Software sind KI-Risiken nach dem Go-live nicht statisch. Modelle können ihr Verhalten durch neue Daten im laufenden Betrieb anpassen. Zudem weiten sich Anwendungsfälle oft schleichend über den ursprünglich geprüften Rahmen aus, oder neue Regularien verändern die Anforderungen, oft ohne dass dies jemand bewusst entschieden hat.
Wie führt man eine KI-Risikobewertung durch
Eine KI-Risikobewertung ist der Messen-Schritt aus dem NIST-Framework in der Praxis: Dabei wird jedes identifizierte Risiko danach bewertet, wie wahrscheinlich sein Eintreten ist und wie schwerwiegend die Folgen wären. Die Wahrscheinlichkeit lässt sich bei KI oft schwerer bestimmen als bei einem konventionellen Software-Risiko, da sich das Verhalten eines Modells nach der Einführung auf eine Weise verändern kann, wie es bei einem statischen System nicht der Fall wäre. In der Praxis kombinieren die meisten Bewertungen quantitative und qualitative Methoden. Man misst beispielsweise die Ergebnisqualität anhand eines Benchmarks, muss aber komplexe Risiken wie systematische Benachteiligung oder fehlende Erklärbarkeit qualitativ einschätzen, da sich diese nicht in einer einzelnen Kennzahl ausdrücken lassen.
Weitere Frameworks und Normen für KI-Risikomanagement
Das NIST AI RMF ist nicht der einzige Referenzpunkt.
ISO/IEC 42001 ist eine zertifizierbare Norm für KI-Managementsysteme, veröffentlicht im Jahr 2023. Eine Organisation kann unabhängig auditiert und danach zertifiziert werden, ähnlich wie ISO 27001 im Bereich Informationssicherheit funktioniert.
ISO/IEC 23894 bietet Leitlinien speziell für das KI-Risikomanagement. Die Norm ist nicht zertifizierbar und erweitert den allgemeineren ISO-31000-Ansatz für Risikomanagement um Risiken, die spezifisch für KI sind.
Die KI-Verordnung der EU verfolgt wiederum einen anderen Ansatz: Es handelt sich um eine Verordnung, nicht um ein freiwilliges Framework, und es klassifiziert KI-Systeme nach Risikostufen, denen jeweils unterschiedliche Pflichten zugeordnet sind.
Diese Ansätze stehen weniger in Konkurrenz zueinander, sondern bilden eher unterschiedliche Ebenen. Eine Organisation kann ihre internen Prozesse am NIST AI RMF ausrichten und gleichzeitig eine Zertifizierung nach ISO/IEC 42001 für die externe Absicherung anstreben. Unabhängig davon, auf welche freiwilligen Frameworks sie dabei setzt, muss sie jedoch in jedem Fall die Pflichten der EU-KI-Verordnung erfüllen. Einen umfassenderen Vergleich der Zusammenhänge zwischen solchen Frameworks finden Sie in unserem Leitfaden zu Risikomanagement-Frameworks.
Software für das KI-Risikomanagement: So unterstützt Formalize den Prozess
Formalize bindet KI-Systeme in dieselben Strukturen für Risiken und Kontrollen ein, die eine Organisation bereits für ihr übergreifendes Compliance-Programm nutzt. KI-Risiken werden so nicht als separate Aufgabe in einem eigenen Tool verwaltet.
Dazu gehört ein Verzeichnis der KI-Systeme und Anwendungsfälle mit jeweils namentlich benannten Verantwortlichen. Darauf aufbauend werden Risiken klassifiziert und bewertet sowie direkt mit den Kontrollen und Maßnahmen verknüpft, die zu ihrer Minderung vorgesehen sind. Nachweise und Status bleiben unmittelbar dem jeweiligen Risiko zugeordnet. Ein Dashboard zeigt dadurch, was tatsächlich umgesetzt wurde, und nicht nur, was geplant war. Die Überwachung erfolgt kontinuierlich anhand desselben Datensatzes und wird nicht zu einer gesonderten Aufgabe. Wenn eine Organisation NIS-2, DORA, ISO 27001 oder andere Frameworks bereits in Formalize verwaltet, werden auch KI-Risiken im selben System erfasst, statt in einer parallel geführten Tabelle.
Erleben Sie, wie Ihre KI-Systeme mit konkreten Kontrollen verknüpft werden
Bringen Sie Ihr eigenes KI-Verzeichnis mit oder die Tabelle, die Sie derzeit dafür nutzen. Wir zeigen Ihnen lieber konkret, wie die Verknüpfungen funktionieren, als es nur zu beschreiben.
Eines sollte klar sein: Formalize entscheidet nicht darüber, ob ein bestimmtes KI-System sicher ist, die geltenden Anforderungen erfüllt oder vertretbar eingesetzt werden kann. Diese Beurteilung liegt bei den Menschen, die das System und seinen Kontext verstehen. Die Plattform erleichtert es, diese Beurteilung vorzunehmen, zu dokumentieren und erneut zu überprüfen, statt sich dabei auf das Gedächtnis oder ein Dokument zu verlassen, das niemand aktualisiert.