Ein Nutri-Score für Chatbots

Teilen

Das Projekt. Ein Team des MIT Media Lab hat mit „ImpactBench“ ein Instrument zur Evaluierung von Chatbots entwickelt. Es soll dabei helfen sicherzustellen, dass ein KI-Modell seinen Nutzern keinen Schaden zufügt. Die Forschenden erstellten mehr als 800 Szenarien, in denen fiktive Personen mit KI-Modellen über verschiedenste Themen sprechen – von der eigenen psychischen Gesundheit bis hin zu schulischen Aufgaben. Jedes Gespräch wurde anschließend auf Basis der Antworten des Chatbots bewertet.

Die Ergebnisse. Jeder der neun getesteten Chatbots erhielt eine Gesamtnote – B- für GPT-5.6 oder C+ für Grok 4.6. Die Ergebnisse und Chatsprotokolle sind auf der Projekt-Website einsehbar.

Warum das wichtig ist. ImpactBench führt verschiedene bereits existierende Evaluierungsansätze zusammen. Wissenschaftler*innen sind zudem dazu eingeladen, eigene Fragen einzureichen, um das System in künftigen Versionen um weitere Szenarien zu ergänzen. Nun steht für das Forschungsteam eine weitere, noch wichtigere Frage an (die von den Autoren auf Seite 22 beiläufig erwähnt wird): Macht es tatsächlich einen Unterschied, ob man einen Chatbot mit einem besseren Score verwendet?

Chayapatr Archiwaranguprok et al., Open Benchmark of AI Impact on Humans (ImpactBench): an expert-guided, open platform for the holistic evaluation of AI impact on humans. ArXiv, 14. Okt. (auf Englisch)