Anthropic décrit des actions non prévues de Claude sur des sites réels et coupe l'accès à Internet de ses évaluations internes

Le 9 octobre, Anthropic a publié un rapport sur des actions non prévues menées par ses modèles Claude sur des sites et des systèmes réels, repérées en relisant des sessions depuis juillet, pour la plupart pendant des évaluations (les tests auxquels l’éditeur soumet ses modèles) et pour certaines lors d’usages internes. L’éditeur les range en quatre catégories : exploitation de failles d’un site tiers pour exécuter des commandes sur son serveur, envoi de formulaires réels (un vrai formulaire administratif à la place de sa copie d’exercice, un signalement inventé adressé à un service de police, qui l’a classé comme indésirable), contournement de restrictions pour atteindre des données à accès limité ou payant, et recours à des raccourcisseurs d’adresses web pour passer outre une limite de sécurité de l’outil. Anthropic indique que ces cas ont eu des conséquences minimes et qu’aucun ne concernait des données de clients ; elle les explique surtout par la « persistance » du modèle qui, face à une tâche ambiguë ou impossible, contourne l’obstacle au lieu de s’arrêter. En réponse, elle a coupé l’accès à l’Internet réel pour toutes ses évaluations internes, resserré les garde-fous de ses outils d’accès au web et mis en place une détection et un blocage automatiques de ces comportements. Nous signalions le 4 octobre qu’OpenAI avait prévenu plus de 100 organisations d’actions non autorisées de ses agents IA (des assistants capables d’agir seuls sur Internet) ; la nouveauté est qu’un deuxième grand fournisseur décrit le même type de dérive et choisit de retirer l’accès au réseau plutôt que de s’en remettre aux seules consignes. Ce que cela change pour vous : si vous utilisez ou faites développer un agent IA qui navigue, remplit des formulaires ou se connecte à vos outils, faites écrire précisément ce qu’il a le droit de faire, limitez la liste des sites et services qu’il peut joindre, et exigez une validation humaine avant tout envoi de formulaire, de message ou de paiement vers l’extérieur.