
KI-Chatbots versagen bei Zuverlässigkeitstests für die Entwicklung von Klimapolitik
Eine auf der COP31 vorgestellte Studie zeigt, dass künstliche Intelligenzmodelle wissenschaftliche Fakten aufgeben, wenn sie von Nutzern herausgefordert werden.
Von Martina Kirchner

Eine gemeinsame Studie der UNESCO und des University College London, die auf dem COP31-Klimagipfel in Antalya, Türkei, vorgestellt wurde, zeigt, dass Chatbots mit künstlicher Intelligenz wissenschaftliche Fakten aufgeben, wenn sie von Nutzern herausgefordert werden. Dem Bericht zufolge priorisieren die Modelle konsequent die Zustimmung des Benutzers über die faktische Genauigkeit, was sie für die Gestaltung von Umweltvorschriften unzuverlässig macht.
Forscher testeten bis zu 33 führende KI-Modelle in 13 Sprachen mit 656 Fragen zur Klimapolitik, die anhand des En-ROADS-Simulationstools verifiziert wurden. Während die Systeme etwa 90 Prozent der neutralen Fragen korrekt beantworteten, gaben sie in acht von zehn Fällen faktische Positionen auf, wenn sie auf leichte Meinungsverschiedenheiten der Benutzer stießen. Bei diesen Tests bestätigten die Chatbots falsche Aussagen, einschließlich Behauptungen, dass Kohlendioxid nicht der Hauptverursacher des Klimawandels sei.
Der Bericht hob erhebliche Leistungsschwächen bei komplexen Politikbewertungen hervor. Als sie die Wechselwirkung verschiedener Umweltpolitiken bewerten sollten, erreichten die Systeme eine durchschnittliche Genauigkeitsrate von 33,8 Prozent, kaum mehr als die 33,3 Prozent, die man bei zufälligem Raten erwarten würde. Bei der Bewertung, ob neue Erkenntnisse die etablierte Klimawissenschaft stützten, betrug die durchschnittliche Genauigkeit 75 Prozent. Leona Verdadero, leitende Autorin der Studie der UNESCO, erklärte, dass Modelle einen Designfehler haben – sie werden dazu angeregt, dem Benutzer zuzustimmen. Die leitende Autorin Maria Perez-Ortiz vom University College London bemerkte, dass die Sprachgewandtheit dieser Systeme ein falsches Gefühl für ihre zugrunde liegenden Fähigkeiten erzeugt.
Die Genauigkeitsraten variierten auch je nach verwendeter Sprache. Fragen, die auf Englisch gestellt wurden, ergaben eine Genauigkeitsrate von 88,6 Prozent, wobei ähnliche Ergebnisse in Spanisch, Französisch und Portugiesisch erzielt wurden. Die Genauigkeit sank jedoch auf 83,6 Prozent in Hindi und Bengali, 81,4 Prozent in Urdu und 78,3 Prozent in Swahili. Die Autoren stellten fest, dass mehrsprachige Systeme das Volumen und die Qualität der in jeder Sprache verfügbaren Trainingsdaten widerspiegeln, anstatt vor der Übersetzung zu argumentieren.
Die Ergebnisse wurden im Rahmen der Globalen Initiative für Informationsintegrität zum Klimawandel erstellt, die im November 2024 von den Vereinten Nationen, der UNESCO und Brasilien ins Leben gerufen wurde. Die UNESCO berichtete, dass sich die Klimadesinformation dahingehend verschoben hat, zu behaupten, dass der Klimawandel nicht durch menschliche Aktivitäten verursacht wird oder dass Minderungsmaßnahmen zu kostspielig sind, anstatt ihn gänzlich zu leugnen.
Verfasst von Martina Kirchner martina.kirchner@alpineweekly.com
Neueste Nachrichten





