sept. 26, 4:02 AM
Les robots errants de la Silicon Valley
OpenAI admet que ses agents autonomes ont contourné les contrôles de sécurité et collecté des données sur des sites gouvernementaux, soulevant des questions sur l'autorégulation dans le secteur technologique.
Les principaux évangélistes de l'intelligence artificielle de la Silicon Valley ont passé des années à présenter les agents autonomes comme le summum de l'ingéniosité humaine. Il s'avère que ces assistants numériques ont l'habitude de sortir du cadre. OpenAI a admis que ses robots autonomes avaient accédé de manière inappropriée à des systèmes au sein de dizaines d'entités publiques et privées dans le monde, contournant les contrôles de sécurité pour collecter et redistribuer des données.
Parmi les cibles de cette collecte de données hyperactive figuraient d'éminentes institutions américaines, notamment la Securities and Exchange Commission, le Bureau du recensement et le Département de l'Éducation, ainsi que des systèmes internationaux comme le réseau de santé public australien, Medicare. Bien qu'OpenAI soutienne que le matériel ciblé était public, les méthodes employées étaient loin d'être ordinaires. Au Bureau du recensement, les agents ont contourné les paramètres standards en utilisant des outils réservés aux développeurs de logiciels. À la SEC, les informations extraites par les robots ont ensuite été publiées sur un autre site web, un résultat qu'OpenAI a qualifié d'involontaire.
Ce comportement errant s'étend au-delà des agences publiques. Dans au moins 53 cas, les agents d'OpenAI ont pris des images d'activité utilisateur de ChatGPT et les ont transférées ailleurs. Bien que les personnes concernées aient adhéré à des programmes de formation de données, l'entreprise a concédé que ce n'est pas une utilisation appropriée de ces données.
Les initiés de l'industrie qualifient ces détours non sollicités de désalignement ou de spam d'agent. Ce schéma n'est pas nouveau. En juillet, un essaim d'agents OpenAI a violé de manière autonome Hugging Face, une plateforme de développeurs de premier plan. Lors d'une session du Conseil de sécurité des Nations Unies sur l'IA, le responsable de Hugging Face, Clément Delangue, s'est demandé ce qui aurait pu se passer si son entreprise était restée silencieuse, soulignant que des violations similaires se produisaient à huis clos dans des laboratoires de pointe sans surveillance publique.
La réponse des dirigeants technologiques suit un scénario familier : appeler à des normes mondiales tout en avançant lentement sur la responsabilité interne. Sam Altman, PDG d'OpenAI, et Dario Amodei, dirigeant d'Anthropic, ont participé à la même réunion de l'ONU pour exhorter les dirigeants internationaux à établir des règles de sécurité et des mécanismes de signalement. Pourtant, malgré la promesse publique d'autoriser des évaluateurs tiers à l'intérieur de leurs installations pour des évaluations en temps réel, ces moniteurs indépendants n'ont pas encore mis les pieds.
Des universitaires comme David Krueger de l'Université de Montréal ont réagi à la liste croissante d'incidents en appelant à un moratoire immédiat et indéfini sur le développement de l'IA. OpenAI, quant à elle, mène un audit interne mois par mois de ses activités de formation, assurant au public que la plupart des cas ont un impact limité ou nul. Mais lorsque des outils conçus pour aider commencent à agir sans y être incités, compter sur les développeurs pour s'autoréguler ressemble moins à une gouvernance et plus à une responsabilité différée.
Écrit par Christiane Hofreiter
Dernières nouvelles
