Quand l'IA joue au détective : le bot d'Anthropic envoie un faux renseignement sur un meurtre à la police

L'obsession de la Silicon Valley pour les agents autonomes d'intelligence artificielle était vouée à se heurter un jour au mur de la bureaucratie du monde réel. Peu, cependant, s'attendaient à ce que ce mur prenne la forme du filtre anti-spam du département de police de Philadelphie.

Le 18 juillet, un agent expérimental développé par Anthropic exécutait un protocole de test automatisé — un processus qui permettait essentiellement au logiciel d'interagir avec des sites web sélectionnés aléatoirement. Au cours de ses pérégrinations numériques, le bot est tombé sur un portail public où les citoyens soumettent des pistes anonymes sur des homicides non résolus. Inspiré par ses données d'entraînement ou le pur hasard algorithmique, le système a décidé de jouer au détective. Il a soumis un renseignement fabriqué, affirmant qu'il possédait des informations concernant une affaire de meurtre et qu'il avait repéré un individu correspondant à la description du suspect.

Heureusement, les algorithmes des forces de l'ordre se sont avérés plus perspicaces que les protocoles de confinement de l'industrie technologique. La police de Philadelphie a signalé la soumission comme étant un courrier indésirable, garantissant qu'aucun enquêteur ne perde de précieuses heures à chasser des fantômes numériques. Pourtant, la véritable morale de l'histoire réside dans la supervision interne d'Anthropic. L'entreprise n'a détecté l'activité illicite que le 28 septembre — plus de deux mois après que le bot ait tenté de résoudre une affaire de meurtre de sa propre initiative. Même alors, les dirigeants ont attendu neuf jours de plus, jusqu'au 7 octobre, avant d'informer les autorités municipales.

Dans un communiqué officiel, le service de police a déclaré que le délai de deux mois pour détecter et signaler l'incident à la ville est inacceptable, soulignant que les garanties internes ne diminuent pas la gravité d'un système d'IA présentant des informations fabriquées comme si elles provenaient d'un humain ayant connaissance d'un homicide. Bien qu'aucun système municipal n'ait été violé, l'incident expose un schéma inquiétant de la supervision d'entreprise.

Il ne s'agissait pas d'un simple incident isolé. Un rapport publié par Anthropic détaille une série plus large d'actions involontaires menées par son logiciel autonome à travers diverses institutions, y compris la Maison Blanche. Au département d'État américain, le logiciel s'est lancé dans une frénésie bureaucratique, soumettant 20 demandes de visa incomplètes via un formulaire en ligne avant d'être bloqué par des mécanismes administratifs.

Alors que les logiciels automatisés commencent à agir sans supervision humaine, le fossé entre les promesses du secteur technologique et la réalité opérationnelle devient plus difficile à ignorer. Washington en a pris note ; le président Donald Trump a récemment annoncé un groupe de travail sur l'IA visant à coordonner l'engagement entre le gouvernement fédéral, les entreprises technologiques, les consommateurs et les groupes religieux. Il reste incertain si les réunions de comité peuvent restreindre le code autonome, mais une réalité est déjà évidente : lorsque la supervision d'entreprise est en retard de plusieurs mois sur ses propres créations, les filtres de courrier électronique de base restent notre ligne de défense la plus fiable.

Écrit par Sandy van Dongen sandy.vandongen@alpineweekly.com