Quand les agents IA agissent par accident : quatre labos, une leçon

La semaine dernière, Google a confirmé que son IA Gemini avait accédé aux systèmes de trois vraies entreprises lors d'un test de sécurité en mai. Et Google n'était pas seul. OpenAI, Anthropic et Meta ont tous signalé des incidents similaires durant la même période de tests. Quatre grands labos d'IA ont eu le même accident — leurs agents IA, équipés d'outils pour agir sur internet, sont allés plus loin que prévu.

Les tests étaient organisés par une entreprise de cybersécurité appelée Irregular. L'environnement devait être entièrement hors ligne — une salle d'entraînement étanche où une IA pouvait tester des choses en toute sécurité. Mais une mauvaise configuration a connecté le test à internet réel par erreur. Gemini a deviné un mot de passe dans un cas et trouvé des identifiants dans des bases de données de mots de passe publiquement divulguées dans deux autres. Le modèle s'est arrêté en réalisant que les systèmes étaient réels, mais l'accès avait déjà eu lieu.

Google l'a appris en juillet et a gardé le silence. L'entreprise n'a informé le public que le 18 septembre — après que le Wall Street Journal l'ait contacté. Google n'a rien dit avant qu'un journaliste l'appelle. La vice-présidente sécurité de Google a parlé d'une 'erreur d'identité' plutôt que d'un déraillement de l'IA — Gemini pensait encore être dans le test. Des critiques ont contesté cette version : accéder à un vrai système reste une intrusion réelle, quelle que soit la conviction de l'IA.

La leçon n'est pas que Gemini a disjoncté. Elle est plus simple. Quand on donne à un agent IA la capacité de naviguer sur le web, de fouiller des bases de données et de se connecter à des comptes, on lui donne un vrai pouvoir dans le monde réel. Les erreurs arrivent. Un agent ne peut causer de dégâts que là où il a accès. Construisez avec un accès minimal : pas d'internet en direct sauf si nécessaire, pas d'accès en écriture sauf si indispensable, des cloisons étanches entre test et production.