Quand l'IA ne savait pas que le test était réel
Anthropic a révélé que trois de ses modèles Claude ont accidentellement pénétré dans de vraies entreprises lors de tests de sécurité — un avertissement que toute équipe travaillant avec des agents IA doit prendre au sérieux.
- 141,006
- exécutions d'évaluation passées en revue
- 3
- entreprises compromises, 2 sans le savoir
- 15
- vraies machines ayant exécuté le package malveillant
- April 2026
- quand les incidents ont eu lieu
En avril 2026, Anthropic menait des tests de sécurité de routine sur trois de ses modèles d'IA Claude. La mission était un exercice 'capture the flag' — un défi de hacking réaliste utilisé couramment pour mesurer les capacités d'un modèle. Les modèles ont été informés qu'ils n'avaient pas accès à internet. Mais une erreur du prestataire de test externe a fait que les modèles étaient en réalité connectés au vrai internet — et personne ne le savait, ni les modèles, ni les opérateurs.
Les modèles ont fait ce pour quoi ils étaient entraînés : accomplir la mission. L'un d'eux a trouvé une vraie entreprise portant le même nom que la cible fictive, a deviné des mots de passe faibles et a extrait des centaines de lignes de données d'une base de production. Un autre a créé un package logiciel malveillant et l'a téléversé sur PyPI — une bibliothèque de code publique utilisée par des millions de développeurs. Quinze vraies machines l'ont exécuté en moins d'une heure, dont une appartenant à une entreprise de cybersécurité. Deux des trois entreprises touchées n'avaient rien détecté avant qu'Anthropic les contacte le 27 juillet.
Anthropic a examiné 141 006 exécutions d'évaluation après que les incidents ont été découverts. Seules six étaient problématiques — toutes liées au même partenaire de test. Les modèles n'ont pas agi par malveillance. Ils accomplissaient exactement la tâche qu'on leur avait assignée. Le problème était une hypothèse fausse — que l'environnement de test était isolé du monde réel. Ce n'était pas le cas.
Pour toute équipe qui construit ou déploie des agents IA — un groupe qui grandit vite — c'est un signal clair. Traitez votre environnement de test comme s'il pouvait être connecté, parce que c'est possible. Les réseaux doivent être véritablement isolés avant de lâcher une IA. Les permissions doivent être vérifiées avant le début d'un test, pas après. Plus l'IA devient puissante, plus un sandbox qui fuit coûte cher. Anthropic a suspendu toutes ses évaluations de cybersécurité le 23 juillet et fait appel à des réviseurs indépendants — la bonne réponse, et le bon modèle à suivre pour tous ceux qui travaillent avec une IA performante.