Datenqualität und Data Governance – Was Art. 10 AI Act für Ihre Trainingsdaten fordert

Ein einziger verzerrter Datensatz kann ein millionenschweres KI-System rechtlich unbrauchbar machen. Wenn Ihr Kreditscoring-Modell Frauen systematisch schlechter bewertet, weil die Trainingsdaten historische Ungleichheiten zementieren, ist das seit Inkrafttreten des EU AI Act nicht mehr nur ein ethisches Problem – es ist ein Konformitätsverstoß mit Bußgeldrisiko. Die zentrale Norm dafür trägt eine unscheinbare Nummer: Artikel 10 AI Act. Sie verwandelt Datenqualität von einer Frage guter Data-Science-Praxis in eine harte Rechtspflicht. Genau um die Art. 10 AI Act Datenqualität geht es in diesem Beitrag: Wir zeigen Ihnen konkret, welche Kriterien Ihre Trainings-, Validierungs- und Testdaten erfüllen müssen – und wie Sie das nachweisen.

Warum die Art. 10 AI Act Datenqualität zur Rechtspflicht wird

Der EU AI Act verfolgt einen risikobasierten Ansatz. Für Hochrisiko-KI-Systeme – also Systeme, die unter Anhang III fallen oder Sicherheitskomponenten regulierter Produkte sind – gelten die strengsten Anforderungen. Art. 10 AI Act ist innerhalb dieses Regelwerks die zentrale Data-Governance-Norm. Er schreibt vor, dass Hochrisiko-Systeme, die mit Daten trainiert werden, nur auf Basis von Datensätzen entwickelt werden dürfen, die bestimmte Qualitätskriterien erfüllen.

Der Grund ist einleuchtend: Ein KI-Modell ist immer nur so gut wie seine Daten. Verzerrte, unvollständige oder unrepräsentative Daten führen zu verzerrten Ergebnissen. Diese Verzerrungen können unmittelbar in Bias, Diskriminierung und Grundrechtsverletzungen münden. Ein Modell, das auf historischen Personaldaten trainiert wurde, in denen überwiegend Männer Führungspositionen innehatten, reproduziert diese Muster. Der Gesetzgeber setzt deshalb an der Wurzel an: bei der Datenqualität selbst.

Für wen die Pflicht gilt

Wichtig zur Einordnung: Art. 10 gilt nur für Anbieter von Hochrisiko-KI-Systemen. Wer ein KI-System mit minimalem oder begrenztem Risiko entwickelt – etwa einen einfachen Chatbot oder einen Spamfilter – unterliegt diesen konkreten Datenpflichten nicht. Entscheidend ist also zunächst die korrekte Risikoklassifizierung Ihres Systems. Welche Systeme überhaupt als hochriskant gelten, erläutern wir ausführlich in unserem Beitrag zur Einordnung nach Anhang III. Erst wenn Ihr System dort einzuordnen ist, greifen die folgenden Anforderungen mit voller Wucht.

Was Art. 10 AI Act zur Datenqualität konkret fordert

Art. 10 verlangt, dass Trainings-, Validierungs- und Testdatensätze geeigneten Data-Governance- und Datenverwaltungspraktiken unterliegen. Diese Praktiken betreffen den gesamten Datenlebenszyklus und umfassen insbesondere:

Erhebung der Daten und Herkunft (Provenienz), bei personenbezogenen Daten auch den ursprünglichen Erhebungszweck
Aufbereitung wie Annotation, Labelling, Bereinigung, Aktualisierung, Anreicherung und Aggregation
Formulierung relevanter Annahmen, insbesondere darüber, was die Daten messen und repräsentieren sollen
Bewertung der Verfügbarkeit, Menge und Eignung der benötigten Datensätze
Prüfung im Hinblick auf mögliche Verzerrungen (Bias), die die Gesundheit, Sicherheit oder Grundrechte betreffen oder zu verbotener Diskriminierung führen könnten
Geeignete Maßnahmen zur Erkennung, Verhinderung und Minderung solcher Verzerrungen
Ermittlung relevanter Datenlücken oder Mängel und wie diese behoben werden können

Das Herzstück bilden vier Qualitätskriterien, die Ihre Datensätze erfüllen müssen. Art. 10 verlangt Datensätze, die – so weit wie nach dem beabsichtigten Zweck möglich – relevant, hinreichend repräsentativ, fehlerfrei und vollständig sind. Diese vier Begriffe sollten Sie sich einprägen. Denn sie sind der Maßstab, an dem Aufsichtsbehörden und benannte Stellen Ihre Daten messen werden.

Kriterium	Bedeutung	Typische Prüffrage
Relevanz	Passen die Daten inhaltlich zum vorgesehenen Zweck?	Bilden die Merkmale das ab, was das System entscheiden soll?
Repräsentativität	Spiegeln die Daten die Zielpopulation korrekt wider?	Sind alle relevanten Gruppen angemessen vertreten?
Fehlerfreiheit	Sind die Daten korrekt und frei von systematischen Fehlern?	Sind Labels korrekt vergeben, Ausreißer geprüft?
Vollständigkeit	Fehlen keine relevanten Merkmale oder Fälle?	Gibt es systematische Datenlücken?

Diese Kriterien gelten übrigens „im Hinblick auf den beabsichtigten Zweck“ – ein absolut fehlerfreier Datensatz wird in der Praxis nie existieren. Entscheidend ist, dass Sie die Anforderungen so weit wie möglich erfüllen und Abweichungen begründen und dokumentieren.

Relevanz und Repräsentativität der Trainingsdaten im AI Act

Von den vier Kriterien bereiten Relevanz und Repräsentativität in der Praxis die größten Probleme. Art. 10 verlangt ausdrücklich, dass Datensätze die passenden statistischen Eigenschaften aufweisen – auch bezogen auf die Personen oder Personengruppen, für die das System eingesetzt werden soll.

Das bedeutet konkret: Ihre Daten müssen die geografischen, kontextuellen, verhaltensbezogenen und funktionalen Besonderheiten des vorgesehenen Einsatzumfelds berücksichtigen. Ein Modell, das in ganz Europa eingesetzt werden soll, aber überwiegend mit Daten aus einem einzigen Land trainiert wurde, erfüllt diese Anforderung nicht.

Praxisbeispiel: Die trügerische Genauigkeit

Stellen Sie sich vor, ein Unternehmen entwickelt ein Hochrisiko-System zur Vorabprüfung von Bewerbungen. Das Modell erreicht im Test eine beeindruckende Genauigkeit von 94 Prozent. Der Haken: Die Trainingsdaten stammten zu 85 Prozent von Bewerbern aus dem IT-Sektor im Alter von 25 bis 40 Jahren. Setzt das Unternehmen das System nun für Pflegeberufe und ältere Bewerbergruppen ein, bricht die tatsächliche Trefferquote ein – und benachteiligt systematisch Menschen über 50.

Die 94 Prozent waren also nicht repräsentativ für den realen Einsatzkontext. Genau solche Fälle will Art. 10 verhindern. Die Repräsentativität ist eng mit der technischen Anforderung an Genauigkeit und Robustheit aus Art. 15 verzahnt: Nur repräsentative Daten liefern belastbare Genauigkeitswerte über alle Nutzergruppen hinweg.

Bias-Erkennung und -Minderung in der Praxis

Die Prüfung auf Verzerrungen ist keine Kür, sondern gesetzliche Pflicht. Art. 10 nennt ausdrücklich Verzerrungen, die die Gesundheit und Sicherheit von Personen beeinträchtigen, sich negativ auf die Grundrechte auswirken oder zu verbotener Diskriminierung führen – besonders dann, wenn Datenausgaben künftige Erhebungen beeinflussen (sogenannte Feedback-Schleifen).

Wie Bias identifiziert wird

In der Praxis kombinieren Anbieter mehrere Ansätze:

Statistische Analyse der Datenverteilung über geschützte Merkmale wie Geschlecht, Alter oder Herkunft
Fairness-Metriken, die Fehlerraten und Ergebnisse zwischen Gruppen vergleichen
Slicing-Tests, bei denen die Modellleistung für einzelne Untergruppen separat gemessen wird
Prüfung auf Proxy-Variablen – Merkmale wie die Postleitzahl können indirekt sensible Eigenschaften abbilden

Die Auswirkungen auf Grundrechte sind der Kern des Problems. Ein diskriminierendes System verletzt nicht nur den AI Act, sondern potenziell auch das Antidiskriminierungsrecht und die Charta der Grundrechte der EU. Deshalb sollte die Bias-Prüfung eng mit Ihrer Datenschutz-Folgenabschätzung verzahnt sein.

Dokumentation der Gegenmaßnahmen

Entscheidend ist: Es reicht nicht, Bias zu finden. Sie müssen geeignete Maßnahmen ergreifen und diese dokumentieren – etwa Re-Balancing der Daten, gezielte Nacherhebung unterrepräsentierter Gruppen oder algorithmische Korrekturen. Ohne Nachweis der ergriffenen Maßnahmen ist die Pflicht nicht erfüllt.

Besondere Kategorien personenbezogener Daten nach Art. 10 Abs. 5

Hier entsteht ein scheinbarer Widerspruch: Um Bias zu erkennen, brauchen Sie oft genau jene sensiblen Merkmale – Geschlecht, ethnische Herkunft, Gesundheitsdaten –, deren Verarbeitung die DSGVO grundsätzlich stark einschränkt.

Art. 10 Abs. 5 AI Act löst diesen Konflikt mit einer eng begrenzten Ausnahme. Anbieter dürfen ausnahmsweise besondere Kategorien personenbezogener Daten verarbeiten, soweit dies für die Erkennung und Korrektur von Verzerrungen bei Hochrisiko-Systemen unbedingt erforderlich ist. Diese Ausnahme gilt jedoch nur unter strengen Schutzvorkehrungen, darunter:

Die Bias-Erkennung lässt sich nicht durch andere Daten (z. B. synthetische oder anonymisierte Daten) erreichen
Es gelten technische Beschränkungen der Weiterverwendung sowie modernste Sicherheits- und Datenschutzmaßnahmen
Strikte Zugriffskontrollen mit Dokumentation
Die sensiblen Daten werden nicht an Dritte übermittelt und nach Behebung der Verzerrung gelöscht, sobald sie nicht mehr benötigt werden

Diese Vorschrift ist eine wichtige Schnittstelle zur DSGVO. Der AI Act schafft hier eine spezifische Verarbeitungsgrundlage, ersetzt aber nicht die übrigen datenschutzrechtlichen Pflichten. Wie AI Act und DSGVO ineinandergreifen und wo sie sich unterscheiden, erläutern wir in unserem Beitrag zu den Unterschieden zwischen AI Act und DSGVO. Die Faustregel: Sensible Daten dürfen zur Bias-Erkennung verarbeitet werden, aber nur als letztes Mittel und unter engster Zweckbindung.

Data Governance nach dem AI Act richtig dokumentieren

Die beste Data Governance nützt rechtlich wenig, wenn Sie sie nicht nachweisen können. Der AI Act verknüpft Art. 10 direkt mit der technischen Dokumentation nach Anhang IV. Dort müssen Sie unter anderem darlegen:

Herkunft und Provenienz der verwendeten Datensätze
Angewandte Datenaufbereitungsverfahren wie Annotation, Labelling und Bereinigung
Formulierte Annahmen über die Daten
Repräsentativitätsbewertung und mögliche Bias-Analysen
Ergriffene Gegenmaßnahmen samt Begründung

Diese Nachweisführung ist der Dreh- und Angelpunkt bei der Konformitätsbewertung und bei späteren Audits. Sorgen Sie dafür, dass Ihre Datendokumentation lückenlos in die technische Dokumentation eingebettet ist und bei einer Prüfung sofort abrufbar bereitliegt. Wie Sie sich darauf vorbereiten, zeigt unser Leitfaden zur Audit-Vorbereitung.

Data Governance ist zudem kein isolierter Vorgang. Sie ist Teil Ihres Qualitäts- und Risikomanagements. Verzerrungsrisiken müssen in Ihr Risikomanagementsystem einfließen und sich in Ihre übergreifende KI-Governance-Struktur einfügen.

Die Datendokumentation ist damit kein Nebenprodukt der Modellentwicklung, sondern ein Nachweis, der bei jeder Datenänderung fortgeschrieben wird. Womit sich das ohne wachsende Dateisammlung führen lässt, beschreibt die Seite Software für die AI-Act-Dokumentation.

Checkliste: In 7 Schritten zu Art.-10-konformen Trainingsdaten

Die folgende Checkliste fasst die konkreten Handlungsschritte zusammen:

Zweck und Zielgruppe definieren. Legen Sie präzise fest, wofür und für welche Personengruppen das System eingesetzt wird. Ohne diese Definition lässt sich Relevanz nicht bewerten.
Datenherkunft dokumentieren. Erfassen Sie Quelle, Erhebungszweck und Provenienz jedes Datensatzes.
Vier Kriterien prüfen. Bewerten Sie systematisch Relevanz, Repräsentativität, Fehlerfreiheit und Vollständigkeit – idealerweise anhand messbarer Metriken.
Bias-Analyse durchführen. Testen Sie die Modellleistung getrennt nach relevanten Untergruppen und prüfen Sie auf Proxy-Variablen.
Gegenmaßnahmen umsetzen und begründen. Beheben Sie identifizierte Verzerrungen und dokumentieren Sie jeden Schritt.
Sensible Daten nur unter Art. 10 Abs. 5 verarbeiten. Nutzen Sie besondere Kategorien nur, wenn es keine Alternative gibt, und mit allen Schutzvorkehrungen.
Alles in die technische Dokumentation überführen. Verankern Sie die Ergebnisse revisionssicher und aktualisieren Sie sie bei jeder Datenänderung.

Typische Fehler – und wie Sie sie vermeiden

Fehler: Aggregierte Genauigkeit als alleiniger Beleg. → Besser: Leistung pro Untergruppe ausweisen.
Fehler: Bias-Prüfung einmalig zum Projektstart. → Besser: Kontinuierliche Überwachung, besonders bei Feedback-Schleifen.
Fehler: Sensible Merkmale pauschal löschen, um DSGVO-Konflikte zu vermeiden. → Besser: Bias lässt sich ohne diese Merkmale oft gar nicht erkennen – nutzen Sie die Ausnahme in Art. 10 Abs. 5 kontrolliert.
Fehler: Data Governance als reines Data-Science-Thema behandeln. → Besser: Recht, Datenschutz und Compliance früh einbinden.

Fristen und Handlungsdruck

Der Zeitdruck ist real. Die Pflichten für Hochrisiko-Systeme nach Anhang III greifen ab August 2026 – die relevanten Details zum Geltungsbeginn haben wir in unserem Beitrag zur AI-Act-Frist August 2026 zusammengestellt. Data Governance lässt sich nicht über Nacht nachrüsten: Datenerhebung, Bias-Analysen und Dokumentation brauchen Vorlauf von Monaten. Wer erst kurz vor der Frist beginnt, riskiert, dass unrepräsentative Datensätze eine komplette Neuerhebung erzwingen.

Fazit

Art. 10 AI Act macht aus einem Data-Science-Ideal eine rechtliche Pflicht: Ihre Trainings-, Validierungs- und Testdaten müssen relevant, repräsentativ, fehlerfrei und vollständig sein, systematisch auf Bias geprüft werden und lückenlos dokumentiert sein. Die Norm gilt ausschließlich für Anbieter von Hochrisiko-KI-Systemen – für sie aber verbindlich und prüfbar. Wer die vier Kriterien der Art. 10 AI Act Datenqualität ernst nimmt, schützt nicht nur die Grundrechte der Betroffenen, sondern auch das eigene Unternehmen vor Konformitätsverstößen und Bußgeldern.

Die gute Nachricht: Mit einer strukturierten Vorgehensweise entlang der obigen Checkliste ist Art. 10 gut beherrschbar. Die schlechte: Die Zeit bis August 2026 wird knapp.