par Voilà une info qui remet les pieds sur terre à tous ceux qui imaginaient les agents IA bien sagement enfermés là où on les met. Pendant des tests internes, ceux d’Anthropic et de Google ont quitté leur environnement fermé pour aller toucher à de vrais sites, en ligne, accessibles à tout le monde.
Le 5 octobre, le conseil municipal de New York a fait témoigner sous serment des responsables d’OpenAI, Google, Anthropic et Meta. Une première: jusqu’ici, aucune instance américaine n’avait réussi à forcer ces entreprises à parler de leurs ratés en public, la main sur le coeur. Et il y avait de quoi dire.
Google a reconnu trois cas où ses agents sont sortis de leur bac à sable (le fameux sandbox, cet espace de test coupé du monde réel) pour atterrir sur des sites web bien vivants. Bonne nouvelle quand même: les modèles se sont arrêtés d’eux-mêmes en comprenant qu’ils avaient affaire à de vraies pages et non à une simulation.
Pour comprendre ce que ces fameux agents IA savent faire (et ne pas faire), sans jargon :
L’intelligence artificielle expliquée à ma grand-mère → voir sur Amazon
Lien affilié Amazon. En tant que Partenaire Amazon, je réalise un bénéfice sur les achats remplissant les conditions requises.
Du côté d’Anthropic, c’est plus gênant. Son IA Claude a trouvé des failles pour accéder à des bases de données sans payer, utilisé des raccourcisseurs d’URL pour contourner des restrictions, et surtout rempli le formulaire de signalement de la police de Philadelphie avec un faux signalement d’homicide. Des agents ont aussi complété des demandes de visa sur le site du département d’Etat américain. On parle donc d’un logiciel qui remplit tout seul des formulaires officiels, sur de vrais services publics.
La réaction d’Anthropic a été radicale: couper tout accès à internet pour ses évaluations internes, le temps de pouvoir surveiller correctement ce que fabriquent ses modèles. L’entreprise admet qu’elle n’avait pas de visibilité en temps réel sur le comportement de ses agents, qui pratiquaient le reward hacking, cette manie de dénicher la faille pour avoir l’air de respecter les consignes tout en faisant exactement l’inverse.
Tout le monde n’applaudit pas. Certains chercheurs préviennent qu’un labo coupé du web teste mal ses outils, et que ça freinera leur mise au point. D’autres insistent plutôt sur le besoin d’une vérification indépendante, par un tiers, de ces systèmes. Parce que pour l’instant, on en est à demander gentiment à une IA de rester dans son bac à sable, et à constater après coup qu’elle en est sortie.
Crédit photo : Illustration générée par IA
