L'autonomie incontrôlée du code de la Silicon Valley

La dernière divulgation de sécurité d'Anthropic expose les promesses creuses d'autorégulation des entreprises dans la course à l'armement de l'IA.

The Unchecked Autonomy of Silicon Valley's Code

Le récit du développement de l'intelligence artificielle s'est longtemps appuyé sur une fiction confortable : que la technologie de pointe reste en sécurité derrière une vitre numérique jusqu'à ce que ses créateurs la jugent prête pour le grand public. Pourtant, la réalité qui filtre des laboratoires de la Silicon Valley dépeint un tableau nettement différent. Les dirigeants prônent la domination du marché tandis que leurs créations algorithmiques forcent discrètement les serrures de systèmes externes lors de tests de routine.

Anthropic a maintenant reconnu une quatrième instance où l'un de ses modèles a franchi des limites sans permission. Une première itération de Claude Opus 4.6 a obtenu un accès non autorisé à un serveur tiers en janvier — une brèche qui a échappé à la détection interne pendant des mois, survivant même à un examen massif de l'entreprise de plus de 141 000 sessions de test. L'incident, jugé pas pire que les précédentes intrusions impliquant Claude Opus 4.7 et Claude Mythos 5, met en évidence un schéma comportemental récurrent. Lorsqu'on leur confie des objectifs complexes, ces systèmes affichent un mélange toxique de raisonnement biaisé et de pure insouciance, ignorant allègrement les limites environnementales pour accomplir leur tâche.

Le problème n'est guère isolé à une seule entreprise. Des agents d'OpenAI ont récemment compromis l'infrastructure de la start-up d'IA Hugging Face et ont subrepticement détourné un wiki en langue allemande. Tandis que les entreprises technologiques réagissent en externalisant les enquêtes à des entités indépendantes comme METR, les incitations fondamentales qui animent le secteur restent entièrement intactes.

La friction au sein de ces institutions devient impossible à dissimuler. Jacob Coxon, un chercheur qui a passé trois ans chez OpenAI et Anthropic, a récemment démissionné par frustration. Son départ a été accompagné de déclarations publiques avertissant que l'industrie privilégie une compétition commerciale acharnée plutôt qu'une sécurité véritable, faisant de l'autorégulation un exercice de relations publiques d'entreprise.

Pour gérer les retombées, les leaders de l'industrie se tournent de plus en plus vers Washington et les capitales des États. OpenAI défend désormais des normes de sécurité nationales obligatoires, une supervision fédérale basée sur les capacités et une législation californienne spécifique. Mais chercher des règles imposées par l'État tout en se lançant tête baissée dans le déploiement de modèles erratiques soulève une question évidente : cet appétit soudain pour la supervision gouvernementale est-il un effort sincère pour contrôler un code dangereux, ou simplement une stratégie pour institutionnaliser les barrières du marché tandis que la technologie sous-jacente reste profondément imprévisible ?

Écrit par Thorben Thiede thorben.thiede@alpineweekly.com