KI-Governance-Framework aufbauen – Praktischer Leitfaden

73 % der deutschen KMUs setzen bereits KI-Systeme ein – aber weniger als 12 % haben dafür ein strukturiertes Regelwerk. Der AI Act ist in Kraft. Wer beim nächsten Audit kein funktionierendes KI-Governance-Framework vorzeigen kann, riskiert nicht nur Bußgelder, sondern auch Reputationsschäden, die schwerer wiegen als jede Strafe.

Die gute Nachricht: Governance klingt nach Großkonzern, ist aber auch für mittelständische Unternehmen machbar – wenn man weiß, wo man anfängt.

Was ist ein KI-Governance-Framework – und warum brauchen Sie eines?

Ein KI-Governance-Framework ist das interne Regelwerk, das beschreibt, wie ein Unternehmen KI-Systeme einsetzt, überwacht, dokumentiert und verantwortet. Es ist keine akademische Übung, sondern die operative Grundlage für AI-Act-Konformität.

Der AI Act verlangt von Unternehmen, die KI einsetzen oder entwickeln, konkrete Maßnahmen: Risikobewertungen, Dokumentationspflichten, menschliche Aufsicht, Qualitätsmanagementsysteme – je nach Risikoklasse in unterschiedlicher Tiefe. Wer kein Framework hat, kann diese Anforderungen nicht systematisch erfüllen. Stattdessen entstehen Insellösungen, blinde Flecken und im Ernstfall eine Haftungslücke.

Besonders relevant: Ohne Governance-Struktur lässt sich auch nicht nachweisen, dass man compliant ist. Und Beweislast liegt im AI Act oft beim Unternehmen, nicht bei der Behörde.

→ Einen Überblick über die konkreten Pflichten für KMUs finden Sie in der AI Act Pflichten KMU Checkliste.

Die vier Säulen eines funktionierenden KI-Governance-Frameworks

1. Inventarisierung: Was setzen Sie eigentlich ein?

Kein Governance-Framework kann funktionieren, ohne zu wissen, welche KI-Systeme im Unternehmen aktiv sind. Das klingt trivial – ist es aber nicht. In der Praxis findet man in mittelständischen Unternehmen KI in:

CRM- und Marketing-Tools (automatisierte Segmentierung, Lead-Scoring)
HR-Systemen (Bewerber-Vorauswahl, Gehaltsanalyse)
Finanztools (automatische Kreditprüfung, Anomalieerkennung)
Kundenkommunikation (Chatbots, Sentiment-Analyse)
Produktionssteuerung (Predictive Maintenance, Qualitätskontrolle)

Viele dieser Systeme sind als SaaS-Lösungen im Einsatz und werden vom Anbieter als “KI-gestützt” vermarktet, ohne dass der interne Betrieb die Implikationen kennt.

Schritt 1 ist deshalb immer das KI-Inventar. Systematisch, abteilungsübergreifend, mit konkreten Angaben zu Anbieter, Zweck, betroffenen Daten und eingesetzten Nutzergruppen.

→ Eine konkrete Anleitung dazu finden Sie im Artikel KI-Inventar erstellen – Anleitung.

2. Risikobewertung: Welche Systeme sind kritisch?

Mit dem Inventar in der Hand folgt die Risikoklassifizierung. Der AI Act unterscheidet dabei mehrere Kategorien – von verbotenen Systemen über Hochrisiko-KI bis hin zu Systemen mit minimalen oder keinen Anforderungen.

Für die Praxis sind drei Fragen entscheidend:

Frage	Relevanz
Trifft das System Entscheidungen über Menschen?	Hohes Risiko-Indiz
Ist der Einsatzbereich in Annex III des AI Act gelistet?	Hochrisiko-Klassifizierung prüfen
Werden besondere Datenkategorien verarbeitet?	DSGVO-Schnittstelle relevant

Hochrisiko bedeutet: Bildung, Beschäftigung, kritische Infrastruktur, biometrische Identifizierung, wesentliche Dienstleistungen – und weitere Bereiche aus Annex III des AI Act. Für diese Systeme gelten strenge Anforderungen: Qualitätsmanagementsystem, technische Dokumentation, menschliche Aufsicht, Konformitätsbewertung.

Für den Mittelstand ist die pragmatische Erkenntnis oft: Die meisten eingesetzten KI-Tools fallen in die niedrige oder minimale Risikoklasse. Aber das muss begründet und dokumentiert sein – nicht nur angenommen.

→ Die KI-Risikoklassen im Vergleich gibt einen strukturierten Überblick über alle Kategorien.

3. Verantwortlichkeiten: Wer ist für was zuständig?

Governance ohne klare Zuständigkeiten ist Papier. Ein funktionierendes Framework braucht definierte Rollen – auch wenn das Unternehmen klein ist und eine Person mehrere Rollen übernimmt.

Mindeststruktur für KMUs:

KI-Verantwortliche/r (intern): Koordiniert die Compliance-Aktivitäten, führt das Inventar, ist Ansprechpartner für Audits. Muss keine Vollzeitstelle sein, aber klar benannt.
Fachverantwortliche pro System: Die Person im Unternehmen, die das jeweilige KI-Tool operativ verantwortet. Sie kennt den Einsatzzweck, die Nutzer und typische Entscheidungsszenarien.
Datenschutzbeauftragter (falls vorhanden): Schnittstelle zu DSGVO-Anforderungen, besonders bei Systemen mit Personenbezug.
Geschäftsführung: Trägt die finale Verantwortung und muss für wesentliche KI-Entscheidungen eingebunden sein.

Warum das wichtig ist: Im Schadensfall oder bei einer Behördenprüfung wird gefragt, wer was gewusst hat, wer entschieden hat und wer hätte eingreifen müssen. Ohne klare Zuständigkeiten ist die Antwort problematisch.

4. Prozesse: Wie werden Entscheidungen getroffen und dokumentiert?

Der operationelle Kern des Frameworks sind die Prozesse – wiederkehrende Abläufe, die sicherstellen, dass Governance nicht einmalig passiert, sondern kontinuierlich gelebt wird.

Kernprozesse im Überblick:

Onboarding neuer KI-Systeme Kein neues KI-Tool darf einfach eingeführt werden. Ein standardisierter Onboarding-Prozess umfasst: Risikobewertung, Prüfung auf Annex-III-Relevanz, Datenschutz-Folgenabschätzung falls nötig, Freigabe durch KI-Verantwortliche/n.

Regelmäßige Überprüfung Bestehende Systeme verändern sich – Anbieter updaten Algorithmen, Einsatzzwecke weiten sich aus, neue Datenkategorien kommen hinzu. Eine jährliche Review aller inventarisierten Systeme ist Mindeststandard.

Incident-Handling Was passiert, wenn ein KI-System einen Fehler macht? Wer wird informiert? Wird der Betrieb eingestellt? Wird dokumentiert? Für Hochrisiko-KI ist ein Post-Market-Monitoring sogar explizit vorgeschrieben.

Schulungen Art. 4 des AI Act empfiehlt ausreichende KI-Kompetenz (seit Digital Omnibus keine Pflicht mehr, aber Best Practice) bei allen, die mit KI-Systemen arbeiten. Das ist kein einmaliges Seminar, sondern ein fortlaufender Prozess – besonders bei Systemwechseln.

→ Details zur KI-Kompetenz finden Sie im Artikel KI-Kompetenz nach AI Act.

Praxisbeispiel: Governance-Framework in einem mittelständischen Unternehmen

Ein Personaldienstleister mit 120 Mitarbeitenden setzt drei KI-Systeme ein:

Bewerber-Matching-Tool (SaaS) – rankt Kandidaten für offene Stellen
Chatbot auf der Website – beantwortet FAQs, leitet Bewerbungen weiter
Excel-Plugin mit KI-Funktion – schlägt Gehaltsrahmen vor

Schritt 1 – Inventar: Alle drei Systeme werden erfasst mit Anbieter, Zweck, Datentypen, Nutzerkreis.

Schritt 2 – Risikobewertung:

Das Matching-Tool fällt in den Bereich Beschäftigung. Annex III Punkt 4 des AI Act listet explizit Systeme zur Beurteilung von Bewerber:innen. → Hochrisiko-Prüfung erforderlich.
Der Chatbot ist informationell, trifft keine Entscheidungen. → Minimales Risiko, aber Transparenzpflicht: Nutzer müssen wissen, dass sie mit einem KI-System interagieren.
Das Excel-Plugin unterstützt eine interne Entscheidung, die ein Mensch trifft. → Geringes Risiko, dokumentieren reicht.

Schritt 3 – Verantwortlichkeiten: HR-Leiterin wird als KI-Verantwortliche benannt. Für das Matching-Tool wird zusätzlich die DSFA geprüft.

Schritt 4 – Prozesse: Onboarding-Checkliste eingeführt, quartalsweise Review eingeplant, Schulung für HR-Team zum Matching-Tool dokumentiert.

Ergebnis: Kein großer Aufwand, aber klare Struktur. Im Audit kann das Unternehmen nachweisen, dass es seine KI-Systeme kennt, bewertet und verantwortet.

Typische Fehler beim Aufbau eines KI-Governance-Frameworks

Fehler 1: Mit dem Framework warten, bis “alles klar ist”

Der AI Act entwickelt sich weiter – Leitlinien der EU-Kommission, nationale Umsetzungen, sektorale Guidance. Wer wartet, bis alles finalisiert ist, wartet zu lang. Die Kernstruktur – Inventar, Risikobewertung, Verantwortlichkeiten, Prozesse – ist schon heute umsetzbar und morgen gültig.

Fehler 2: Governance als IT-Thema behandeln

KI-Governance ist kein IT-Projekt. Es betrifft Rechtsabteilung, HR, Geschäftsführung, Compliance – und jeden, der mit KI-Systemen arbeitet. Wer das Framework in der IT-Abteilung ablegt, wird scheitern.

Fehler 3: Zu komplex starten

Große Unternehmen haben KI-Governance-Teams, externe Berater und mehrstufige Approval-Prozesse. KMUs brauchen das nicht. Ein pragmatisches, schlankes Framework, das konsequent gelebt wird, ist wertvoller als eine perfekte Dokumentation, die niemand kennt.

Fehler 4: Den Anbieter aus der Pflicht lassen

Viele KI-Systeme werden als SaaS eingekauft. Der Anbieter ist oft Anbieter (Provider) im Sinne des AI Act, das eigene Unternehmen ist Betreiber (Deployer). Das bedeutet: Auch als Deployer haben Sie Pflichten – unter anderem müssen Sie sicherstellen, dass das System seinem Zweck entsprechend eingesetzt wird, und Sie müssen Anbieter-Dokumentationen auswerten.

→ Mehr zu Rollen und Haftung finden Sie im Artikel AI Act Agenturen und Haftung.

Schnittstellen: Wo Governance auf andere Regelwerke trifft

Ein KI-Governance-Framework existiert nicht im Vakuum. Es berührt mehrere bestehende Regelwerke:

DSGVO: Überall wo KI personenbezogene Daten verarbeitet, greifen DSGVO-Anforderungen. Die Datenschutz-Folgenabschätzung (DSFA) ist oft auch für KI-Systeme Pflicht, bevor die AI-Act-Risikoklasse überhaupt eine Rolle spielt. → DSFA für KI erklärt

AI Act vs. DSGVO: Beide Regelwerke überschneiden sich, unterscheiden sich aber in Logik und Pflichten. → AI Act und DSGVO Unterschiede

Transparenzpflichten: Bestimmte KI-Interaktionen müssen gekennzeichnet sein – Chatbots, synthetische Medien, automatisierte Entscheidungen. Das Governance-Framework muss diese Anforderung operationalisieren. → KI-Transparenzpflicht und Kennzeichnung

Zeitplan: Wann müssen welche Teile des Frameworks stehen?

Der AI Act ist gestaffelt in Kraft getreten. Für KMUs gilt:

Ab sofort: Verbotene KI-Praktiken sind untersagt (Artikel 5 seit Februar 2025)
August 2025: GPAI-Modell-Anforderungen gelten
Dezember 2027: Hochrisiko-KI-Pflichten greifen vollständig (verschoben durch Digital Omnibus)
August 2028: Weitere Systeme aus Annex I (verschoben durch Digital Omnibus)

Das bedeutet: Wer jetzt mit dem Framework beginnt, hat Zeit zum Aufbau. Wer wartet, gerät unter Druck.

→ Den vollständigen Zeitplan finden Sie unter AI Act Zeitplan und Fristen 2025-2027.

Fazit: Governance ist kein Luxus, sondern Betriebsgrundlage

Ein KI-Governance-Framework ist die Antwort auf eine einfache Frage: Wie stellen wir sicher, dass wir KI so einsetzen, dass wir dafür geradestehen können? Für KMUs bedeutet das keine Bürokratie-Monster, sondern strukturiertes, pragmatisches Handeln entlang von vier Säulen: Inventar, Risikobewertung, Verantwortlichkeiten und Prozesse.

Die Unternehmen, die jetzt anfangen, haben einen entscheidenden Vorteil: Sie bauen organisch auf, ohne Zeitdruck. Die, die warten, werden in zwei Jahren unter Zugzwang stehen – und dann sind Fehler teurer.

Der AI Act Zeitplan zeigt: Das Fenster für einen ruhigen Aufbau ist offen. Aber es schließt sich.

Wo steht Ihr Unternehmen? Der kostenlose Risiko-Check von eu-konform.ai analysiert Ihre aktuelle KI-Nutzung, identifiziert Lücken in Ihrem Governance-Setup und gibt Ihnen eine priorisierte Handlungsempfehlung – in unter 10 Minuten. Kein Expertenwissen erforderlich, keine versteckten Kosten.

→ Jetzt Risiko-Check starten