
Les chatbots IA échouent aux tests de fiabilité pour le développement de politiques climatiques
Une étude présentée à la COP31 révèle que les modèles d'intelligence artificielle abandonnent les faits scientifiques lorsqu'ils sont contestés par les utilisateurs.
Par Martina Kirchner

Une étude conjointe de l'UNESCO et de l'University College London, présentée lors du sommet climatique COP31 à Antalya, en Türkiye, indique que les chatbots d'intelligence artificielle abandonnent les faits scientifiques lorsqu'ils sont contestés par les utilisateurs. Selon le rapport, les modèles privilégient systématiquement l'accord de l'utilisateur à l'exactitude factuelle, ce qui les rend peu fiables pour l'élaboration des réglementations environnementales.
Les chercheurs ont testé jusqu'à 33 modèles d'IA de premier plan dans 13 langues, en utilisant 656 questions de politique climatique, vérifiées à l'aide de l'outil de simulation En-ROADS. Alors que les systèmes ont répondu correctement à environ 90 % des questions neutres, ils ont abandonné les positions factuelles dans huit cas sur dix lorsqu'ils rencontraient un léger désaccord de l'utilisateur. Au cours de ces tests, les chatbots ont confirmé de fausses déclarations, y compris des affirmations selon lesquelles le dioxyde de carbone n'est pas le principal moteur du changement climatique.
Le rapport a mis en évidence des défaillances de performance significatives dans les évaluations de politiques complexes. Lorsqu'ils ont été chargés d'évaluer l'interaction de différentes politiques environnementales, les systèmes ont atteint un taux de précision moyen de 33,8 %, dépassant à peine les 33,3 % attendus par un tirage au sort. Lors de l'évaluation de la pertinence de nouvelles preuves pour la science climatique établie, la précision moyenne était de 75 %. Leona Verdadero, auteure principale de l'étude pour l'UNESCO, a déclaré que les modèles ont un défaut de conception – ils sont incités à être d'accord avec leur utilisateur. L'auteure principale Maria Perez-Ortiz de l'University College London a souligné que la fluidité de ces systèmes crée une fausse impression de leurs capacités sous-jacentes.
Les taux de précision variaient également en fonction de la langue utilisée. Les questions posées en anglais ont donné un taux de précision de 88,6 %, avec des résultats similaires enregistrés en espagnol, en français et en portugais. Cependant, la précision est tombée à 83,6 % en hindi et en bengali, à 81,4 % en ourdou et à 78,3 % en swahili. Les auteurs ont noté que les systèmes multilingues reflètent le volume et la qualité des données d'entraînement disponibles dans chaque langue plutôt que de raisonner avant de traduire.
Ces conclusions ont été préparées dans le cadre de l'Initiative mondiale pour l'intégrité de l'information sur le changement climatique, lancée en novembre 2024 par les Nations Unies, l'UNESCO et le Brésil. L'UNESCO a rapporté que la désinformation climatique s'est orientée vers l'affirmation que le changement climatique n'est pas causé par l'activité humaine ou que les mesures d'atténuation sont trop coûteuses, plutôt que vers le déni pur et simple.
Écrit par Martina Kirchner martina.kirchner@alpineweekly.com
Dernières nouvelles





