Der EU AI Act schafft ein neues Aufsichtsmodell für den sicheren Einsatz von Künstlicher Intelligenz in Europa. Ziel ist Transparenz, Nachvollziehbarkeit und Vertrauen – durch strukturierte Marktüberwachung auf EU- und nationaler Ebene.

  • Zuständigkeiten:
    EU-weit: Koordination durch das EU AI Office. Deutschland: Bundesnetzagentur als Marktüberwachungsbehörde; weitere Fachbehörden (z. B. BaFin) sind je nach Domäne zuständig.
  • Prüfmodus:
    Kontrollen erfolgen stichprobenartig oder anlassbezogen – etwa bei Beschwerden oder Verdachtsfällen. Eine Vorab-Genehmigungspflicht besteht nicht.
  • Befugnisse:
    Die Behörden können Unterlagen einsehen, Sanktionen verhängen, Vertriebsverbote aussprechen oder Rückrufe anordnen. Entscheidend ist der Nachweis wirksamer Governance, nicht bloß formale Regelbefolgung.

1. Was bedeutet das für Betreiber (z. B. Banken)?

Betreiber („Deployer“) tragen die Verantwortung für den ordnungsgemäßen, nachvollziehbaren und sicheren Einsatz von KI-Systemen – auch wenn sie diese nicht selbst entwickeln. Sie sind damit Teil der regulatorischen Beweiskette und müssen zeigen, dass sie ihre Sorgfaltspflichten erfüllt haben.

2. Operative Pflichten im Umgang mit der EU-Vorlage

  • Anfordern:
    Die EU-Vorlage (C (2025) 5235 final) ist der zentrale Nachweis über Datenherkunft und Trainingsbedingungen. Sie muss aktiv vom Anbieter eingeholt werden.
  • Prüfen:
    Vollständigkeit und Plausibilität prüfen – etwa bei Quellen, Lizenzstatus, TDM-Opt-outs, Filtern, Qualitätssicherung, Stand und Version.
  • Dokumentieren:
    Ergebnisse im KI-Inventar oder Risikoregister vermerken – inklusive Audit-Trail und Status (OK/GAP).
  • Nachbessern:
    Fehlende Angaben mit Fristsetzung nachfordern.
    Bei fortbestehenden Lücken: Risiko hochstufen oder Sourcing stoppen.
  • Kein Siegel:
    Es gibt keine behördliche Abnahme.
    Betreiber tragen die Nachweis- und Steuerungsverantwortung selbst – vergleichbar mit IKS- oder MaRisk-Prozessen.

3. Erweiterte Governance-Aufgaben der Betreiber

Die Pflichten gehen weit über die Dokumentenprüfung hinaus. Betreiber müssen Kontrolle, Steuerung und Kommunikation über den gesamten KI-Lebenszyklus sicherstellen:

  • Transparenznachweis prüfen und bewerten:
    Die formale und inhaltliche Prüfung bildet die Basis für das interne Risikourteil.
  • Human Oversight sicherstellen:
    Rollen und Prozesse müssen klar definieren, wer eingreifen kann, wenn Systeme Fehlentscheidungen treffen.
  • Kennzeichnungspflichten beachten (Art. 50 AI Act):
    Synthetische Inhalte (Text, Bild, Audio) sind klar als KI-generiert zu kennzeichnen – intern wie extern.
  • Monitoring und Incident-Meldungen:
    Leistung, Sicherheit und Bias kontinuierlich überwachen; Vorfälle gemäß Art. 62 ff. AI Act melden.
  • Governance und Dokumentation:
    Ein AI Governance Framework mit klaren Verantwortlichkeiten, Prüfprozessen und Integration in MaRisk, BAIT und IKS aufbauen.
  • Revisionssichere Archivierung:
    Alle Nachweise – EU-Vorlage, Prüfprotokolle, Audit-Trails – revisionsfest speichern und im Prüfungsfall (BaFin, EU AI Office) vorlegen können.

Fazit für Entscheider:innen

Betreiber tragen die „Accountability in der zweiten Reihe“:
Sie stellen sicher, dass KI-Systeme rechtssicher, erklärbar und kontrollierbar bleiben – auch bei Fremdtechnologien.

  • Es gibt kein offizielles Freigabeverfahren, aber eine Beweislastumkehr: Im Zweifel muss der Betreiber seine Sorgfalt belegen.
  • Damit wird KI-Governance zum zentralen Bestandteil der Gesamt-Compliance – gleichrangig mit Outsourcing, Datenschutz oder IT-Risiko-Management.

Kurz gesagt:
Der Anbieter liefert Transparenz – der Betreiber liefert Kontrolle.
Nur beides zusammen ergibt Compliance.

Mini-Checkliste für Betreiber:innen

  • EU-Vorlage liegt vor (C (2025) 5235 final, datiert, Modell-ID).
  • Felder vollständig (Quellen, Lizenzanteile, Datasets, Filter, QS, Compute).
  • Urheberrecht/TDM schlüssig (Opt-outs berücksichtigt).
  • Crosswalk zur internen Modellkarte erstellt (OK/GAP).
  • Vertragliche Absicherung (Audit-, Update-, Eskalationsklauseln).
  • Audit-Trail und Ablage revisionssicher aktualisiert.

Muster-Klauseln für Verträge

  • Transparenz & Update:
    „Der Anbieter stellt die EU-Trainingsdaten-Summary nach C (2025) 5235 final vor Produktivsetzung sowie bei wesentlichen Änderungen bereit (Version, Datum, Modell-ID).“
  • Audit & Einsicht:
    „Der Anbieter gewährt dem Kunden Einsicht in technische Dokumentationen (inkl. Annex-Dokus) und kooperiert bei internen oder behördlichen Audits.“
  • Copyright & TDM:
    „Der Anbieter garantiert die Einhaltung von Urheberrechten inkl. TDM-Opt-outs und informiert den Kunden unverzüglich über Ansprüche Dritter.“
  • Remediation & Exit:
    „Bei Unvollständigkeit oder Abweichungen erfolgt Nachbesserung innerhalb XX Tagen; bei Fortbestehen hat der Kunde Sonderkündigungs- oder Suspendierungsrechte.“