Überwachung beeinträchtigt die Überwachenden

Das Problem. Drei Wissenschaftler*innen erklären, dass agentische KI-Systeme die Idee des „Menschen im Loop“ – nahezu stets im Zentrum der Diskurse über verantwortliche KI – zunehmend obsolet machen. Bekannt ist, dass die Nutzung von KI unsere kognitiven Fähigkeiten beeinträchtigt. Illusorisch ist es daher zu glauben, Personen, die Entscheidungen von KI-Systemen genehmigen, könnten ihr kritisches Denkvermögen bewahren. Besonders problematisch ist dies, da KI-Systeme von menschlichen Reaktionen lernen und sogar die Macht der Schmeichelei nutzen könnten, um jene, die sie überwachen, noch tiefer einzuschläfern.

Die Lösungen. Der Artikel erstellt eine Typologie der Lösungen (Seiten 7–8). KI-Systeme könnten von Überwachenden erfragen, was diese zur Meinungsänderung bewegen würde, oder mehrere Alternativen vorschlagen statt einer binären Entscheidung. Man könnte Zwangspausen und Stellenwechsel einführen – wie in der Fabrik. Oder man platziert Testfälle innerhalb der zu bewertenden Aktionen, die der Mensch als solche erkennen muss, um zu prüfen, ob er noch alert ist.

Warum das wichtig ist. Margaret Mitchell, die Hauptautorin, ist wissenschaftliche Leiterin für Ethik bei Hugging Face. Sie war es, die 2020, während ihrer Zeit bei Google, den Artikel Stochastische Papageien mitverfasste, in dem sie die meisten Probleme voraussah, die große Sprachmodelle wie ChatGPT verursachen – und woraufhin sie entlassen wurde. Nun wurde Hugging Face gerade von NVIDIA übernommen. Unwahrscheinlich, dass ihr neuer Chef kritische Perspektiven schätzt.

Margaret Mitchell, Avijit Ghosh, Samir Passi, AI Agents Push Humans Out of the Loop. pre-print, 6. Sept. (auf Englisch)