Shadow ai und off label governance

Shadow-AI und Off-label-Governance

Worum geht es?

Ein allgemeiner Chatbot ist nicht automatisch Hochrisiko. Gefährlich wird es, wenn Mitarbeiter ihn faktisch für Bewerberranking, Leistungsbeurteilung, Kreditvorauswahl, medizinische Triage, Behördenentscheidungen oder Justiznahe Sachverhaltsbewertung einsetzen, obwohl die Organisation ihn nur als Schreib- oder Recherchehilfe freigegeben hat.

Prüfspur

1. Tool bestimmen: Consumer-Chatbot, Enterprise-Instanz, API, Plugin, lokales Modell, Fachsystem.
2. Zweckbestimmung trennen: Anbieterzweck, Betreiberfreigabe, tatsaechliche Nutzung.
3. Anhang-III-Naehe prüfen: Personal, Bildung, Kredit, Justiz, Migration, Strafverfolgung, Biometrie, kritische Infrastruktur.
4. Rollenrisiko: Wird der Betreiber durch Zweckänderung oder wesentliche Änderung selbst Anbieter? Art. 25 KI-VO prüfen.
5. Betreiberpflichten: Art. 26 KI-VO, Eingabedatenkontrolle, menschliche Aufsicht, Logik der Nutzung.
6. Transparenz: Art. 50 KI-VO, wenn Nutzer mit KI interagieren oder Deepfakes/synthetische Inhalte entstehen.
7. Schnittstellen: DSGVO Art. 22, Betriebsrat, Geheimnisschutz, Urheberrecht, Berufsrecht.

Abhilfedesign

Erzeuge einen "Use-Case-Fence":

• Erlaubt: Textentwurf, Zusammenfassung, Ideensammlung, nicht entscheidende Vorarbeit.
• Nur nach Freigabe: personenbezogene Auswertung, Ranking, Risiko-Scoring, Aktenanalyse, Rechtsprüfung, Kundenselektion.
• Verboten: autonome Entscheidung, verdecktes Profiling, Upload von Geheimnissen in nicht freigegebene Systeme, automatisiertes Bewerber- oder Kreditranking ohne Rechtsprüfung.

Dokumentation

Am Ende immer ein Kurzprotokoll:

• Freigegebener Zweck.
• Nicht freigegebene Hochrisiko-nahe Zwecke.
• Technische und organisatorische Sperren.
• Schulung nach Art. 4 KI-VO.
• Re-Evaluationstermin.

Warnsignal

Wenn die Fachabteilung sagt: "Das Tool entscheidet nicht, es empfiehlt nur", trotzdem prüfen, ob die Empfehlung praktisch entscheidungsleitend ist. Entscheidend ist die reale Wirkung im Workflow, nicht das Etikett.