Genauigkeit, Robustheit und Cybersicherheit – Was Art. 15 AI Act von Ihrer KI verlangt

Ein Gesichtserkennungssystem, das im Labor eine Trefferquote von 99,7 % erreicht – und im realen Einsatz in einer schlecht beleuchteten Bahnhofshalle plötzlich jede zehnte Person falsch zuordnet. Genau dieses Auseinanderfallen von Laborwert und Realität ist der Grund, warum der EU AI Act mit Art. 15 AI Act eine der technisch anspruchsvollsten Pflichten überhaupt formuliert. Wer Hochrisiko-KI in den europäischen Markt bringt, muss künftig belegen, dass sein System genau, robust und cybersicher ist – und zwar nicht einmalig, sondern über den gesamten Lebenszyklus. Dieser Artikel zeigt Ihnen, wie Sie diese drei Pflichten aus Art. 15 AI Act messen, dokumentieren und absichern.

Was Art. 15 AI Act regelt – und für wen er gilt

Art. 15 AI Act trägt die Überschrift „Genauigkeit, Robustheit und Cybersicherheit“. Er verlangt, dass Hochrisiko-KI-Systeme so konzipiert und entwickelt werden, dass sie ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreichen. Diese Eigenschaften müssen sie über ihren gesamten Lebenszyklus hinweg konsistent erbringen.

Das ist der entscheidende Punkt: Es geht nicht um einen einmaligen Testwert bei Markteintritt. Gefordert ist eine dauerhaft nachweisbare Leistungsfähigkeit.

Art. 15 AI Act ist damit die technische Kernanforderung an Hochrisiko-KI. Andere Artikel regeln Prozesse (Risikomanagement), Transparenz oder menschliche Aufsicht. Art. 15 beschreibt dagegen die messbaren Eigenschaften des Systems selbst.

Wen die Pflicht trifft

Adressat von Art. 15 ist in erster Linie der Anbieter (Provider) – also wer ein KI-System entwickelt und unter eigenem Namen in Verkehr bringt. Der Anbieter muss die Genauigkeitsniveaus deklarieren, die Robustheit sicherstellen und die Cybersicherheit gewährleisten.

Der Betreiber (Deployer) trägt zwar eigene Pflichten – etwa den bestimmungsgemäßen Einsatz und die menschliche Aufsicht. Die konstruktiven Anforderungen aus Art. 15 liegen aber beim Anbieter.

Ganz wichtig für die Abgrenzung: Art. 15 gilt nur für Hochrisiko-KI-Systeme, nicht für jede KI. Ob ein System als Hochrisiko einzustufen ist, ergibt sich aus Art. 6 in Verbindung mit Annex III (etwa Biometrie, kritische Infrastruktur, Beschäftigung, Strafverfolgung). Welche Systeme konkret darunterfallen, erläutern wir in unserem Beitrag zu Hochrisiko-KI nach Annex III. Ein Chatbot für Marketingtexte fällt in der Regel nicht unter Art. 15 – ein KI-System zur Bonitätsbewertung sehr wohl.

Zusammenspiel mit anderen Pflichten

Art. 15 steht nicht allein. Die anzustrebenden Genauigkeits- und Robustheitsniveaus leiten sich unmittelbar aus dem Risikomanagement-System nach Art. 9 ab: Dort identifizieren Sie die Risiken, die Ihr System in konkreten Einsatzszenarien birgt. Der Nachweis wiederum erfolgt über die technische Dokumentation nach Art. 11 und Annex IV und wird im Rahmen der Konformitätsbewertung geprüft. Die zugehörigen Pflichten greifen ab August 2026 – die Details dazu lesen Sie in unserer Übersicht zur Frist.

Genauigkeit von KI-Systemen messen und deklarieren

Angemessene Genauigkeit über den Lebenszyklus

Art. 15 AI Act verlangt kein absolutes Genauigkeitsniveau. Ein System muss nicht „100 % korrekt“ sein – das wäre technisch unmöglich. Gefordert ist ein angemessenes Niveau, gemessen am Zweck und den Risiken des Systems. Für ein KI-System zur Krebsvorsorge gelten andere Maßstäbe als für einen Spam-Filter im Bewerbungsprozess.

Entscheidend ist die Konsistenz über den Lebenszyklus. Ein Modell kann durch Data Drift (die reale Datenverteilung wandelt sich) mit der Zeit an Genauigkeit verlieren. Sie müssen daher nicht nur den Ausgangswert messen, sondern auch im laufenden Betrieb überwachen.

Relevante KI-Genauigkeitsmetriken – und ihre Grenzen

Für Klassifikationsaufgaben sind vier Kennzahlen zentral:

Metrik	Was sie misst	Formel (vereinfacht)
Accuracy	Anteil aller korrekten Vorhersagen	(TP+TN) / Gesamt
Precision	Wie viele positive Vorhersagen stimmen	TP / (TP+FP)
Recall	Wie viele echte Positive erkannt werden	TP / (TP+FN)
F1-Score	Harmonisches Mittel aus Precision und Recall	2·(P·R)/(P+R)

Ein Rechenbeispiel zeigt, warum Accuracy allein trügt: Ein Betrugserkennungssystem prüft 10.000 Transaktionen, von denen 100 betrügerisch sind. Sagt das Modell schlicht „alles legitim“, erreicht es eine Accuracy von 99 % – und übersieht dennoch jeden einzelnen Betrugsfall. Der Recall läge bei 0 %.

Genau deshalb müssen Sie je nach Anwendungsfall die passenden KI-Genauigkeitsmetriken wählen. Bei unausgewogenen Datensätzen sind Precision, Recall und F1 aussagekräftiger als reine Accuracy.

Pflicht zur Deklaration in der Gebrauchsanweisung

Art. 15 verlangt ausdrücklich, dass die Genauigkeitsmetriken und die Genauigkeitsniveaus in der Gebrauchsanweisung angegeben werden (Art. 13 regelt die Gebrauchsanweisung als solche).

Für Betreiber ist das essenziell: Nur wer weiß, dass ein System bei einer bestimmten Bevölkerungsgruppe systematisch schlechter abschneidet, kann die menschliche Aufsicht sinnvoll gestalten. Deklarieren Sie also nicht nur einen aggregierten Wert, sondern die Bedingungen und Grenzen, unter denen er gilt.

Robustheit von KI: Widerstandsfähigkeit gegen Störungen

Umgang mit Fehlern, Ausfällen und inkonsistenten Umgebungen

Robustheit bedeutet nach Art. 15, dass das System gegenüber Fehlern, Störungen und unerwarteten Situationen widerstandsfähig ist – etwa bei inkonsistenten Eingabedaten, Interaktion mit anderen Systemen oder ungewöhnlichen Umgebungsbedingungen.

Das eingangs genannte Beispiel der schlecht beleuchteten Bahnhofshalle ist ein klassisches Problem der Robustheit von KI: Das Modell wurde nicht auf die reale Varianz der Einsatzumgebung getestet.

Redundanz- und Fail-Safe-Konzepte

Art. 15 nennt ausdrücklich technische und organisatorische Maßnahmen wie Redundanz und Backup-Pläne. Konkret bedeutet das:

Technische Redundanz: Fallback-Modelle oder regelbasierte Sicherheitsnetze, die einspringen, wenn das Hauptmodell einen niedrigen Konfidenzwert liefert.
Fail-Safe-Verhalten: Bei Unsicherheit übergibt das System an einen Menschen, statt eine riskante Entscheidung zu erzwingen. Hier greift die menschliche Aufsicht nach Art. 14 als komplementäre Anforderung.
Organisatorische Maßnahmen: definierte Eskalationswege, Notfallabschaltung, Monitoring-Alarme.

Feedback-Schleifen und selbstlernende Systeme

Art. 15 adressiert ein spezielles Risiko: KI-Systeme, die nach dem Inverkehrbringen weiterlernen. Hier droht die Gefahr, dass fehlerhafte oder verzerrte Outputs als neue Trainingsdaten zurückfließen und Verzerrungen verstärken – das Phänomen der Bias Amplification bzw. der „Rückkopplungsschleifen“.

Der AI Act verlangt, dass solche Feedback-Loops durch geeignete Maßnahmen so weit wie möglich reduziert werden. Praktisch heißt das: Validieren Sie neue Trainingsdaten, bevor sie ins Modell fließen, und überwachen Sie die Entwicklung der Outputs kontinuierlich.

Cybersicherheit von KI: Angriffsvektoren absichern

Neue Angriffsklassen

Klassische IT-Security schützt vor Netzwerkangriffen – KI-Systeme haben zusätzliche, eigene Verwundbarkeiten. Art. 15 verlangt Schutz gegen Versuche, das System durch Ausnutzung seiner spezifischen Schwachstellen zu manipulieren. Die wichtigsten Angriffsvektoren:

Data Poisoning: Angreifer schleusen manipulierte Daten in den Trainingsdatensatz ein, um das Modellverhalten gezielt zu verfälschen.
Model Poisoning: Manipulation der Modellparameter selbst, etwa über kompromittierte Lieferketten oder vergiftete vortrainierte Modelle.
Adversarial Examples: Minimale, für Menschen unsichtbare Änderungen an Eingabedaten führen zu Fehlklassifikationen – etwa ein Aufkleber auf einem Stoppschild, den ein autonomes Fahrzeug als Tempolimit interpretiert.
Model Evasion: Angreifer gestalten ihre Eingaben so, dass sie die Erkennung umgehen – etwa Malware, die von einem KI-Detektor bewusst nicht erkannt wird.

Schutzmaßnahmen entlang des Lebenszyklus

Härtung darf nicht erst am Ende ansetzen. Bewährte Maßnahmen für die Cybersicherheit von KI sind:

Datenvalidierung und Provenienz-Prüfung der Trainingsdaten (gegen Poisoning),
Adversarial Training – das Modell wird bewusst mit manipulierten Beispielen trainiert,
Input-Sanitization und Anomalieerkennung im Betrieb,
Zugriffskontrolle und Verschlüsselung für Modelle und Trainingspipelines,
Monitoring auf ungewöhnliche Anfragemuster, die auf Evasion-Versuche hindeuten.

Bezug zu bestehenden Standards

Art. 15 verlangt keine Neuerfindung des Rads. Etablierte Rahmenwerke wie ISO/IEC 27001 (Informationssicherheits-Managementsystem) bilden die organisatorische Basis, ergänzt durch KI-spezifische Standards wie ISO/IEC 42001 (KI-Managementsystem) und die technischen Berichte der ENISA zu KI-Bedrohungslandschaften.

Sobald die harmonisierten Normen zum AI Act veröffentlicht sind, entfaltet deren Einhaltung eine Konformitätsvermutung – ein enormer Praxisvorteil, weil Sie sich dann auf eine anerkannte Prüfsystematik stützen können.

Nachweis und Dokumentation der Art. 15 AI Act Konformität

Eine sichere KI zu bauen genügt nicht – Sie müssen es belegen können.

Test- und Validierungsprotokolle

Das zentrale Nachweismittel sind Test- und Validierungsprotokolle. Sie dokumentieren, welche Metriken unter welchen Bedingungen gemessen wurden, welche Robustheitstests (Stresstests, adversariale Tests) durchgeführt und welche Cybersicherheitsprüfungen bestanden wurden. Diese Protokolle sind ein zentraler Prüfgegenstand – wie Sie sich darauf vorbereiten, lesen Sie in unserem Leitfaden zur Audit-Vorbereitung.

Verankerung in der technischen Dokumentation

Alle Ergebnisse fließen in die technische Dokumentation nach Annex IV ein und werden Teil der Konformitätsbewertung. Ohne belastbare Nachweise zu Art. 15 AI Act gibt es keine CE-Kennzeichnung und keinen legalen Marktzugang.

Kontinuierliches Monitoring nach Marktzugang

Weil Art. 15 auf den gesamten Lebenszyklus abstellt, endet die Pflicht nicht mit dem Inverkehrbringen. Über das Post-Market-Monitoring (Art. 72) überwachen Sie kontinuierlich, ob Genauigkeit und Robustheit im Feld erhalten bleiben – und reagieren bei Drift oder neuen Angriffsmustern.

Damit verschiebt sich der Aufwand vom einmaligen Test zur laufenden Nachweisführung. Welche Funktionen ein Werkzeug dafür mitbringen muss, steht unter was eine AI-Act-Software leisten muss.

Praxis-Fahrplan: In 6 Schritten zur Art.-15-Compliance

Schritt 1 – Einstufung klären. Ist Ihr System überhaupt Hochrisiko-KI? Prüfen Sie die Einordnung nach Art. 6/Annex III, bevor Sie Ressourcen binden.

Schritt 2 – Ziel-Niveaus aus dem Risikomanagement ableiten. Definieren Sie aus dem Art.-9-Risikomanagement heraus, welche Genauigkeits- und Robustheitsschwellen für Ihr Einsatzszenario „angemessen“ sind.

Schritt 3 – Metriken festlegen und messen. Wählen Sie die richtigen Kennzahlen (nicht nur Accuracy!), testen Sie auf repräsentativen und Grenzfalldaten und dokumentieren Sie die Bedingungen.

Schritt 4 – Robustheit und Cybersicherheit härten. Implementieren Sie Redundanz, Fail-Safe-Mechanismen, Adversarial Training und Monitoring. Orientieren Sie sich an ISO/IEC 27001 und ENISA-Empfehlungen.

Schritt 5 – Dokumentieren und deklarieren. Halten Sie Ergebnisse in Test-/Validierungsprotokollen fest, verankern Sie sie in der technischen Dokumentation und deklarieren Sie die Genauigkeitsmetriken in der Gebrauchsanweisung.

Schritt 6 – Überwachen und aktualisieren. Richten Sie Post-Market-Monitoring ein und definieren Sie Trigger für Nachtraining und erneute Validierung.

Verantwortlichkeiten und Ressourcen

Die Compliance mit Art. 15 AI Act ist kein reines Data-Science-Thema. Sie erfordert das Zusammenspiel von ML-Engineering (Metriken, Robustheit), IT-Security (Angriffsvektoren) und Compliance/Recht (Dokumentation, Konformitätsbewertung). Benennen Sie klare Verantwortliche und stellen Sie sicher, dass Testinfrastruktur und Monitoring-Kapazitäten budgetiert sind.

Typische Fehler – und wie Sie sie vermeiden

Nur Accuracy reporten → immer mehrere Metriken, besonders bei unausgewogenen Daten.
Nur Laborbedingungen testen → mit realistischen, verrauschten und adversarialen Daten prüfen.
Cybersicherheit auf klassische IT reduzieren → KI-spezifische Vektoren (Poisoning, Evasion) explizit adressieren.
Einmalprüfung statt Lebenszyklus → Monitoring und Re-Validierung fest verankern.
Feedback-Loops ignorieren → bei selbstlernenden Systemen Bias-Amplification aktiv gegensteuern.

Fazit

Art. 15 AI Act macht aus abstrakten Qualitätswünschen harte, nachweispflichtige Ingenieursanforderungen: Ihre Hochrisiko-KI muss messbar genau, gegen Störungen robust und gegen KI-spezifische Angriffe wie Data Poisoning, Adversarial Examples und Model Evasion abgesichert sein – und das konsistent über den gesamten Lebenszyklus.

Wer die richtigen Metriken wählt, Redundanz und Fail-Safe-Konzepte etabliert, sich an ISO/IEC- und ENISA-Standards orientiert und alles lückenlos dokumentiert, verwandelt eine regulatorische Pflicht in ein echtes Qualitäts- und Vertrauensargument. Die Zeit drängt: Ab August 2026 wird die Einhaltung zur Bedingung für den Marktzugang.