Hochrisiko-KI erkennen – Annex III des AI Acts einfach erklärt

Die wichtigste Frage bei der AI-Act-Compliance lautet: Ist mein KI-System Hochrisiko – oder nicht?

Davon hängt alles ab. Minimales oder begrenztes Risiko? Überschaubare Pflichten, hauptsächlich Transparenz. Hochrisiko? Dann wird es ernst: Risikomanagement, technische Dokumentation, menschliche Aufsicht, Qualitätsmanagement, Registrierung in einer EU-Datenbank, und möglicherweise eine Konformitätsbewertung.

Die Antwort steht im Annex III des AI Acts – einer Liste von acht Bereichen, in denen KI-Systeme automatisch als Hochrisiko gelten. Klingt einfach. Ist es aber nicht, denn die Liste ist allgemein formuliert und lässt viel Interpretationsspielraum.

Dieser Artikel macht Annex III verständlich.

Wann ist ein KI-System Hochrisiko?

Der AI Act kennt zwei Wege zur Hochrisiko-Einstufung:

Weg 1: Annex III – Das KI-System wird in einem der acht gelisteten Bereiche eingesetzt UND trifft Entscheidungen oder beeinflusst Entscheidungen, die erhebliche Auswirkungen auf Gesundheit, Sicherheit oder Grundrechte haben.

Weg 2: Produktsicherheit (Annex I) – Das KI-System ist ein Sicherheitsbauteil eines Produkts, das unter bestehende EU-Harmonisierungsrechtsvorschriften fällt (z. B. Medizinprodukte, Maschinen, Spielzeug, Aufzüge). Diese Produkte durchlaufen ohnehin eine Konformitätsbewertung.

Für die meisten Unternehmen ist Weg 1 (Annex III) der relevante. Schauen wir uns die acht Bereiche an.

Die 8 Hochrisiko-Bereiche des Annex III

1. Biometrie

Was ist gemeint: KI-Systeme zur biometrischen Identifizierung oder Kategorisierung von Personen.

Konkret:

• Gesichtserkennung zur Identifizierung (nicht nur Entsperrung des eigenen Handys)
• Emotionserkennung am Arbeitsplatz oder in Bildungseinrichtungen
• Biometrische Kategorisierung nach Rasse, politischer Überzeugung, Gewerkschaftszugehörigkeit, Religion oder sexueller Orientierung

Praxis-Beispiele:

• ✅ Hochrisiko: Kamerasystem im Einzelhandel, das Kunden per Gesichtserkennung identifiziert
• ✅ Hochrisiko: Software, die Emotionen von Bewerbern im Videointerview analysiert
• ❌ Nicht Hochrisiko: Face-ID auf dem Firmenhandy (persönliche Gerätenutzung)
• ❌ Nicht Hochrisiko: Altersverifikation zur Zugangskontrolle (Schutzfunktion, nicht Kategorisierung)

Achtung: Einige biometrische Anwendungen sind nicht nur Hochrisiko, sondern nach Art. 5 komplett verboten – z. B. biometrische Echtzeit-Fernidentifizierung in öffentlichen Räumen (mit engen Ausnahmen für Strafverfolgung).

2. Kritische Infrastruktur

Was ist gemeint: KI-Systeme als Sicherheitsbauteile bei der Verwaltung und dem Betrieb kritischer Infrastruktur.

Konkret:

• Straßenverkehr, Wasser-, Gas-, Strom- und Wärmeversorgung
• Digitale Infrastruktur (Telekommunikationsnetze)

Praxis-Beispiele:

• ✅ Hochrisiko: KI-System, das den Stromfluss in einem Verteilernetz steuert
• ✅ Hochrisiko: Autonomes Verkehrsleitsystem für eine Stadtautobahn
• ❌ Nicht Hochrisiko: Google Maps Routenplanung (kein Sicherheitsbauteil)
• ❌ Nicht Hochrisiko: Smart-Home-Heizungssteuerung (keine kritische Infrastruktur)

Für KMUs: Dieser Bereich betrifft hauptsächlich Versorger, Netzbetreiber und Infrastruktur-Dienstleister. Wenn Sie nicht in dieser Branche sind, ist er für Sie irrelevant.

3. Bildung und Berufsausbildung

Was ist gemeint: KI-Systeme, die über den Zugang zu Bildung, Bewertung von Lernleistungen oder das Bildungsniveau von Personen entscheiden oder diese wesentlich beeinflussen.

Konkret:

• Automatische Bewertung von Prüfungen (wenn die Note Konsequenzen hat)
• KI-gestützte Zulassungsentscheidungen (Uni, Schule, Ausbildung)
• Systeme, die den Bildungsweg einer Person steuern
• Proctoring-Software (KI-überwachte Online-Prüfungen)

Praxis-Beispiele:

• ✅ Hochrisiko: KI-System einer Uni, das Studienbewerber vorfiltert
• ✅ Hochrisiko: Automatische Benotung schriftlicher Prüfungen
• ✅ Hochrisiko: Proctoring-Tool, das Betrugsversuche in Prüfungen erkennt
• ❌ Nicht Hochrisiko: E-Learning-Plattform mit personalisierten Empfehlungen (keine Bewertungsentscheidung)
• ❌ Nicht Hochrisiko: KI-Tutor, der Übungsaufgaben erstellt (unterstützend, nicht bewertend)

4. Beschäftigung und Personalwesen

Was ist gemeint: KI-Systeme für Personalentscheidungen – Einstellung, Beförderung, Kündigung, Aufgabenverteilung, Leistungsbewertung.

Das ist für viele KMUs der relevanteste Bereich. Sobald KI Einfluss auf Personalentscheidungen nimmt, sind Sie im Hochrisiko-Bereich.

Konkret:

• Automatisiertes Bewerber-Screening und CV-Parsing
• KI-gestützte Vorauswahl von Kandidaten
• Leistungsbewertung von Mitarbeitern durch KI
• Entscheidungen über Beförderung oder Kündigung
• Aufgabenverteilung basierend auf KI-Analyse
• Überwachung von Mitarbeiterverhalten und -leistung

Praxis-Beispiele:

• ✅ Hochrisiko: Recruiting-Tool, das Bewerbungen automatisch vorsortiert
• ✅ Hochrisiko: KI, die Mitarbeiter-Performance-Scores berechnet
• ✅ Hochrisiko: System, das Schichtpläne basierend auf KI-Bewertung erstellt
• ❌ Nicht Hochrisiko: LinkedIn Recruiter als Suchtool (Mensch entscheidet komplett)
• ❌ Nicht Hochrisiko: KI-generierte Stellenanzeigen (Texterstellung, keine Personalentscheidung)

Wichtig: Auch wenn Sie nur ein KI-Tool eines Drittanbieters nutzen (z. B. Personio mit KI-Features, SAP SuccessFactors) – als Betreiber haben Sie eigene Pflichten. Der Anbieter muss das System konform bauen, aber Sie müssen es konform nutzen.

5. Zugang zu wesentlichen Dienstleistungen

Was ist gemeint: KI-Systeme, die den Zugang zu oder die Inanspruchnahme wesentlicher öffentlicher und privater Dienstleistungen beeinflussen.

Konkret:

• Kreditwürdigkeit: KI-basiertes Kredit-Scoring natürlicher Personen
• Versicherung: KI-gestützte Risikobewertung und Prämienberechnung bei Lebens- und Krankenversicherungen
• Notdienste: KI-Systeme, die Notrufe priorisieren oder weiterleiten
• Sozialleistungen: KI-Systeme, die über Leistungsansprüche entscheiden

Praxis-Beispiele:

• ✅ Hochrisiko: Bank-KI, die Kreditanträge bewertet oder vorselektiert
• ✅ Hochrisiko: Versicherungs-KI, die Prämien individuell berechnet
• ✅ Hochrisiko: Algorithmus, der Sozialleistungsanträge vorsortiert
• ❌ Nicht Hochrisiko: KI-basierte Produktempfehlung in einem Online-Shop (keine wesentliche Dienstleistung)
• ❌ Nicht Hochrisiko: Chatbot einer Bank für FAQs (keine Kreditentscheidung)

6. Strafverfolgung

Was ist gemeint: KI-Systeme, die von Strafverfolgungsbehörden eingesetzt werden.

Konkret: Lügendetektoren, Beweisbewertung, Rückfallprognosen, Profiling, Tatortanalyse.

Für KMUs: In der Regel nicht relevant – es sei denn, Sie entwickeln Software für Polizei oder Justiz.

7. Migration, Asyl und Grenzkontrolle

Was ist gemeint: KI-Systeme bei der Verwaltung von Migration und Grenzkontrolle.

Konkret: Risikobewertung bei Einreise, automatisierte Prüfung von Visumanträgen, Dokumentenerkennung.

Für KMUs: Nur relevant, wenn Sie Behörden-Software in diesem Bereich entwickeln.

8. Rechtspflege und demokratische Prozesse

Was ist gemeint: KI-Systeme, die Gerichte oder Behörden bei der Auslegung von Gesetzen oder der Anwendung auf Sachverhalte unterstützen.

Konkret: KI-gestützte Urteilsvorschläge, automatische Rechtsrecherche mit Entscheidungseinfluss, KI-Systeme die Wahlprozesse beeinflussen.

Für KMUs: Hauptsächlich relevant für Legal-Tech-Anbieter. Wenn Sie eine KI-gestützte Rechtsberatungs-App bauen, sind Sie wahrscheinlich hier.

Die Ausnahme: Art. 6 Abs. 3

Wichtiger Schlüssel: Nicht jedes KI-System in einem Annex-III-Bereich ist automatisch Hochrisiko. Art. 6 Abs. 3 sieht eine Ausnahme vor: Ein KI-System gilt trotz Annex-III-Zugehörigkeit nicht als Hochrisiko, wenn es:

1. Eine eng begrenzte verfahrenstechnische Aufgabe ausführt (z. B. Dokumentenformatierung)
2. Das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit nur verbessert (z. B. Rechtschreibkorrektur in einem Bericht)
3. Nur ein Muster erkennt, ohne eine Bewertung einzelner Personen vorzunehmen
4. Nur eine vorbereitende Aufgabe für eine Bewertung ausführt, die in einem Annex-III-Bereich relevant ist

Beispiel: Eine KI, die in einer Personalabteilung nur Lebensläufe nach Format sortiert (nicht bewertet!) könnte unter diese Ausnahme fallen. Aber Vorsicht: Die Ausnahme ist eng auszulegen, und der Anbieter muss dokumentieren, warum sie greift.

Pflichten für Hochrisiko-KI im Überblick

Wenn Ihr KI-System als Hochrisiko eingestuft ist, gelten folgende Pflichten:

Für Anbieter (Entwickler):

• Risikomanagementsystem (Art. 9)
• Daten-Governance & Trainings-Datenqualität (Art. 10)
• Technische Dokumentation (Art. 11)
• Automatische Protokollierung (Art. 12)
• Transparenz & Gebrauchsanweisung (Art. 13)
• Menschliche Aufsicht ermöglichen (Art. 14)
• Genauigkeit, Robustheit, Cybersicherheit (Art. 15)
• Qualitätsmanagementsystem (Art. 17)
• Konformitätsbewertung (Art. 43)
• CE-Kennzeichnung (Art. 48)
• EU-Datenbank-Registrierung (Art. 49)

Für Betreiber (Nutzer in Unternehmen):

• System gemäß Gebrauchsanweisung nutzen (Art. 26)
• Menschliche Aufsicht durch kompetentes Personal sicherstellen (Art. 26)
• Eingabedaten überwachen (Art. 26)
• Logs aufbewahren (Art. 26)
• Grundrechte-Folgenabschätzung (Art. 27) – für bestimmte Betreiber
• Schwerwiegende Vorfälle melden (Art. 26)

Graubereiche und Praxis-Tipps

Graubereich 1: KI-Feature in größerer Software SAP, Salesforce, Microsoft 365 – alle bauen KI-Features ein. Ist das ganze System Hochrisiko, oder nur das KI-Feature? Antwort: Nur das KI-Feature, wenn es sich klar abgrenzen lässt. Aber als Betreiber sollten Sie wissen, welche KI-Features aktiviert sind.

Graubereich 2: Unterstützend vs. entscheidend Ein KI-System, das nur Vorschläge macht, ist nicht automatisch Hochrisiko. Entscheidend ist, ob ein Mensch die Vorschläge faktisch immer übernimmt (de facto automatisierte Entscheidung) oder tatsächlich unabhängig entscheidet.

Graubereich 3: Intern vs. extern KI-System nur für interne Analyse ohne Auswirkung auf natürliche Personen? Wahrscheinlich nicht Hochrisiko. Sobald die Analyse Entscheidungen über Menschen beeinflusst (Kunden, Bewerber, Mitarbeiter), kann sich das ändern.

Praxis-Tipp: Im Zweifelsfall konservativ einordnen. Lieber ein System als Hochrisiko behandeln, das keines ist, als umgekehrt. Die Bußgelder für falsche Risikoklassifizierung liegen bei bis zu 15 Mio. € oder 3 % des Jahresumsatzes.

Fazit

Annex III ist das Herzstück der Hochrisiko-Einstufung im AI Act. Für die meisten KMUs sind die Bereiche 3 (Bildung), 4 (Personal) und 5 (Kreditwürdigkeit/Versicherung) am relevantesten. Die Bereiche 6-8 (Strafverfolgung, Migration, Rechtspflege) betreffen hauptsächlich Behörden und deren Zulieferer.

Die entscheidende Frage ist immer: Trifft oder beeinflusst Ihr KI-System Entscheidungen, die erhebliche Auswirkungen auf Menschen haben? Wenn ja, sind Sie wahrscheinlich im Hochrisiko-Bereich.

---

Sie möchten die Risikoklasse Ihrer KI-Systeme automatisch bestimmen lassen? Der KI-Kompass analysiert Ihre KI-Systeme in 5 Minuten – kostenlos und ohne Registrierung.