Warum ein pauschales Vier-Augen-Prinzip für KI zu kurz greift
Generative KI produziert in Sekunden Texte, Zusammenfassungen, Analysen und Entscheidungsvorlagen. Die naheliegende Governance-Antwort lautet häufig: Ein Mensch muss das Ergebnis prüfen. Das ist grundsätzlich vernünftig, beantwortet aber die entscheidende Frage noch nicht. Was bedeutet prüfen konkret – und wann reicht eine kurze Plausibilitätskontrolle, wann braucht es eine fachliche Freigabe durch eine zweite Person?
Wer jede KI-Ausgabe identisch behandelt, erzeugt entweder unnötige Bürokratie oder zu wenig Kontrolle. Ein interner Entwurf für eine Workshop-Agenda hat andere Fehlerfolgen als eine Kundeninformation, eine Personalentscheidung oder eine Zahl, die in einen Vorstandbericht übernommen wird. Gute Governance verbindet deshalb die mögliche Auswirkung eines Fehlers mit einer passenden Prüftiefe.
Der EU AI Act unterstützt diese kontextbezogene Sicht. Artikel 4 verlangt von Anbietern und Betreibern von KI-Systemen Maßnahmen zur Unterstützung der KI-Kompetenz von Mitarbeitenden und anderen Personen, die in ihrem Auftrag mit den Systemen arbeiten. Dabei sind unter anderem Vorkenntnisse und Nutzungskontext zu berücksichtigen. Seit der Änderung im Juli 2026 muss dabei kein bestimmtes Kompetenzniveau jeder einzelnen Person garantiert werden. Für Hochrisiko-KI enthält der AI Act zusätzlich spezifische Anforderungen an menschliche Aufsicht. Diese Sonderregeln sollte man nicht pauschal auf jede Office-Nutzung übertragen – ihre Grundidee ist für Governance trotzdem hilfreich: Menschen müssen eine Kontrolle tatsächlich ausüben können und dürfen nicht bloß formal im Prozess stehen.
1. Mit der Fehlerfolge beginnen, nicht mit dem KI-Tool
Die wichtigste Frage lautet nicht: Wurde ChatGPT, Copilot oder ein anderes Modell verwendet? Entscheidend ist, was passiert, wenn das Ergebnis falsch, unvollständig oder verzerrt ist.
Ein einfacher Bewertungsrahmen kann vier Dimensionen betrachten:
- Reichweite: Bleibt das Ergebnis intern oder erreicht es Kunden, Bewerber, Öffentlichkeit oder Behörden?
- Reversibilität: Lässt sich ein Fehler leicht korrigieren oder löst er schwer rückgängig zu machende Folgen aus?
- Betroffene Interessen: Geht es um Komfort und Produktivität oder um Geld, Rechte, Beschäftigung, Sicherheit oder Reputation?
- Prüfbarkeit: Kann eine fachkundige Person die Ausgabe anhand verlässlicher Quellen und Daten sinnvoll kontrollieren?
Aus diesen Fragen entsteht kein automatisches Rechtsurteil. Sie helfen aber, Arbeitsabläufe zu unterscheiden. Ein Brainstorming kann mit einer kurzen Eigenprüfung auskommen. Eine extern verwendete Fachinformation benötigt möglicherweise Quellenprüfung und Freigabe. Bei Entscheidungen mit erheblichen Folgen sollte geklärt werden, ob KI überhaupt in dieser Rolle eingesetzt werden darf und welche zusätzlichen rechtlichen Anforderungen gelten.
2. Vier Prüfstufen statt einer einzigen Regel
Für viele Unternehmen ist ein Stufenmodell praktikabler als der Satz „KI muss immer kontrolliert werden“. Die Stufen können an interne Prozesse angepasst werden.
### Stufe 1: Eigenprüfung für geringe Auswirkungen
Bei internen Entwürfen mit niedriger Fehlerfolge prüft die nutzende Person selbst: Passt das Ergebnis zur Aufgabe? Sind offensichtliche Fehler enthalten? Wurden vertrauliche Informationen korrekt behandelt? Wird der Text anschließend ohnehin noch substanziell bearbeitet?
### Stufe 2: Fakten- und Quellencheck
Sobald konkrete Tatsachen, Zahlen, Zitate oder externe Aussagen relevant sind, sollte die Prüfung auf belastbare Originalquellen zurückgehen. Eine vom Modell genannte Quelle ist kein Nachweis dafür, dass sie existiert oder die Aussage trägt. Mitarbeitende müssen lernen, Quelle und Behauptung getrennt zu verifizieren.
### Stufe 3: Fachliche Freigabe
Bei höherer Außenwirkung oder fachlicher Tragweite sollte eine qualifizierte Person die Ausgabe vor Verwendung freigeben. Wichtig ist, dass sie genügend Kontext sieht: ursprüngliche Aufgabe, relevante Eingangsdaten, wesentliche Quellen und geplante Verwendung. Eine isolierte Freigabe eines glatt formulierten Endtexts kann Scheinsicherheit erzeugen.
### Stufe 4: Formales Vier-Augen-Prinzip oder Spezialprüfung
Bei besonders folgenreichen Vorgängen kann eine unabhängige zweite Freigabe sinnvoll oder aufgrund anderer Regeln ohnehin erforderlich sein. Das kann beispielsweise Legal, Datenschutz, Informationssicherheit, HR oder eine fachlich verantwortliche Führungskraft sein. Ob eine solche Freigabe rechtlich erforderlich ist, hängt vom konkreten Prozess ab; aus Artikel 4 allein folgt kein allgemeines Vier-Augen-Gebot für KI-Ausgaben.
3. Gute menschliche Kontrolle braucht echte Entscheidungsmacht
Ein Mensch im Prozess ist nicht automatisch wirksame Aufsicht. Wenn eine Person hunderte KI-Ergebnisse unter Zeitdruck abnicken muss, keine Quellen sieht und eine automatisierte Aktion praktisch nicht stoppen kann, ist die Kontrolle schwach.
Für Hochrisiko-KI verlangt Artikel 26 des AI Act von Betreibern unter anderem, natürliche Personen mit menschlicher Aufsicht zu betrauen, die über notwendige Kompetenz, Schulung, Befugnis und Unterstützung verfügen. Artikel 14 beschreibt für Hochrisiko-Systeme Fähigkeiten der menschlichen Aufsicht, darunter Grenzen des Systems zu verstehen, Automationsbias zu berücksichtigen, Ausgaben richtig zu interpretieren und das System gegebenenfalls zu übersteuern oder anzuhalten.
Diese Vorschriften gelten nicht automatisch für jedes generative Standardwerkzeug. Als Gestaltungsprinzipien sind sie dennoch wertvoll. Eine Freigabeperson sollte:
- wissen, was das System kann und wo typische Fehler entstehen,
- Zugang zu den Informationen haben, die für die Prüfung nötig sind,
- genügend Zeit für eine echte Bewertung erhalten,
- eine Ausgabe ablehnen oder korrigieren dürfen,
- den Prozess bei Unsicherheit stoppen und eskalieren können.
Damit wird menschliche Kontrolle zu einer Funktion und nicht zu einem Häkchen.
4. Automationsbias ausdrücklich trainieren
Je professioneller ein KI-Ergebnis formuliert ist, desto leichter kann es überschätzt werden. Menschen neigen zudem dazu, automatisierten Empfehlungen zu folgen, besonders wenn Systeme häufig richtige Ergebnisse liefern oder die Arbeitslast hoch ist. Der AI Act nennt bei menschlicher Aufsicht von Hochrisiko-KI ausdrücklich die Gefahr, sich automatisch oder übermäßig auf Systemausgaben zu verlassen.
AI Literacy sollte deshalb nicht nur Halluzinationen erklären. Mitarbeitende brauchen Routinen gegen unkritisches Abnicken. Praktische Übungen können Fragen trainieren wie:
- Welche Aussage in dieser Antwort ist entscheidungsrelevant?
- Welche Information stammt aus einer überprüfbaren Quelle und welche nur aus der Modellantwort?
- Welche Annahme wurde stillschweigend ergänzt?
- Würde ich dieselbe Empfehlung akzeptieren, wenn sie von einem neuen Kollegen ohne Quellen käme?
- Welche Gegenhypothese oder Alternative sollte ich prüfen?
Ein guter Wissenscheck enthält bewusst plausible, aber falsche KI-Ausgaben. So wird nicht nur Wissen über Risiken abgefragt, sondern das tatsächliche Prüfverhalten geübt.
5. Die Prüftiefe muss zur Rolle passen
Artikel 4 stellt auf den Nutzungskontext ab. Das lässt sich unmittelbar in Lernpfade übersetzen. Nicht jeder Mitarbeitende benötigt dieselbe Prüfroutine.
Marketing sollte beispielsweise Fakten, Markenbezug, Quellen und externe Wirkung beherrschen. Vertrieb benötigt klare Regeln für Preise, Leistungsversprechen, Kundendaten und verbindliche Aussagen. HR braucht besondere Sensibilität für personenbezogene Daten, Verzerrungen und Entscheidungen über Menschen. Finance muss Zahlen, Datenstand und Rechenlogik nachvollziehen können. Führungskräfte müssen zusätzlich verstehen, welche Prozesse eine zweite Freigabe benötigen und wer diese Verantwortung übernehmen darf.
Auch technische Teams brauchen eigene Inhalte: Sie müssen wissen, welche Kontrollen bereits systemseitig greifen, wie Modell- oder Promptänderungen getestet werden und welche Informationen einer Freigabeperson angezeigt werden.
Eine gemeinsame Grundschulung bleibt sinnvoll. Die entscheidende Kompetenz entsteht aber dort, wo allgemeine Risiken mit konkreten Aufgaben und internen Regeln verbunden werden.
6. Eine Freigabematrix macht Regeln im Alltag nutzbar
Lange Richtlinien helfen wenig, wenn Mitarbeitende im Moment der Nutzung nicht wissen, was sie tun sollen. Eine kompakte Freigabematrix kann deshalb festlegen, welche Prüfstufe für typische Anwendungsfälle gilt.
Beispielsweise:
- Interne Ideensammlung: Eigenprüfung durch die nutzende Person.
- Zusammenfassung eines internen Dokuments: Abgleich mit Originaldokument, bevor Kernaussagen weiterverwendet werden.
- Externer Fachtext mit Tatsachenbehauptungen: Quellencheck und redaktionelle Freigabe.
- Kundenangebot: fachliche Prüfung aller Preise, Leistungen und verbindlichen Aussagen nach bestehendem Angebotsprozess.
- Personalbezogene Empfehlung: keine automatische Übernahme; zulässige Rolle der KI und erforderliche Fachprüfung vorab festlegen.
- Automatisierte externe Aktion: gesonderte technische und organisatorische Freigaben sowie Abbruchmöglichkeiten vorsehen.
Die Matrix sollte keine Parallelbürokratie neben bestehenden Kontrollen schaffen. Wenn ein Prozess bereits ein wirksames Vier-Augen-Prinzip besitzt, kann die KI-Prüfung dort integriert werden. Entscheidend ist, dass klar bleibt, welche zusätzlichen Fehlerbilder durch KI entstehen.
7. Dokumentation: Was wurde geprüft – nicht nur wer geklickt hat
Ein Freigabelog mit Zeitstempel kann nützlich sein, beweist aber noch keine inhaltliche Prüfung. Für wichtige Prozesse sollte nachvollziehbar sein, welche Version oder Ausgabe geprüft wurde, welche Quellen oder Eingangsdaten maßgeblich waren und ob Änderungen nach der Freigabe erfolgt sind.
Gleichzeitig sollte nicht vorsorglich jede Eingabe und jeder vollständige Dokumentinhalt dauerhaft gespeichert werden. Datenschutz, Geschäftsgeheimnisse und interne Löschkonzepte gelten auch für Kontrollprotokolle. Unternehmen sollten deshalb bewusst festlegen, welche Informationen für Nachvollziehbarkeit erforderlich sind und wie lange sie benötigt werden.
Für AI-Literacy-Maßnahmen erklärt die Europäische Kommission ausdrücklich, dass Artikel 4 kein bestimmtes Zertifikat verlangt. Interne Aufzeichnungen über Trainings oder andere Leitmaßnahmen können genutzt werden. Das passt zu einem pragmatischen Ansatz: dokumentieren, welche Zielgruppen welche Regeln und Prüfroutinen gelernt haben, statt bloß Teilnahmebescheinigungen zu sammeln.
8. Kontrollregeln regelmäßig mit echten Fehlern aktualisieren
KI-Nutzung verändert sich. Ein Team beginnt vielleicht mit Textentwürfen und nutzt später Recherchefunktionen, Dateizugriffe oder automatisierte Aktionen. Damit ändern sich auch die möglichen Fehlerfolgen. Prüfstufen sollten deshalb bei neuen Tools, neuen Datenquellen oder veränderten Prozessen erneut bewertet werden.
Hilfreich ist ein kleiner Feedbackkreislauf: Welche Fehler wurden in den letzten Wochen entdeckt? Welche Freigaben waren unnötig? Wo wurde ein kritischer Fehler erst spät bemerkt? Welche Regeln waren für Mitarbeitende unklar? Diese Beobachtungen können in Richtlinie, Freigabematrix und Schulung zurückfließen.
So entsteht Governance, die nicht nur Papier produziert, sondern aus der tatsächlichen Nutzung lernt.
Fazit: Menschliche Kontrolle muss risikobasiert und kompetent sein
Die richtige Frage lautet nicht, ob Menschen KI-Ergebnisse prüfen sollen. Sie lautet, welche Kontrolle für welchen Anwendungsfall sinnvoll ist und was eine Person dafür wissen, sehen und entscheiden können muss. Ein risikobasiertes Stufenmodell verbindet Produktivität mit nachvollziehbaren Leitplanken: leichte Eigenprüfung bei niedriger Fehlerfolge, belastbare Quellenchecks bei Fakten, fachliche Freigabe bei größerer Tragweite und stärkere Kontrollen dort, wo Auswirkungen dies rechtfertigen.
Eine Schulung ersetzt keine rechtliche oder fachliche Einzelfallprüfung. Sie kann aber dazu beitragen, dass menschliche Kontrolle im Alltag tatsächlich funktioniert – statt nur auf dem Prozessdiagramm zu existieren.