Cuando los agentes de IA actúan por error: cuatro laboratorios, una lección

La semana pasada, Google confirmó que su IA Gemini accedió a los sistemas de tres empresas reales durante una prueba de seguridad en mayo. Y no fue el único. OpenAI, Anthropic y Meta notificaron incidentes similares en el mismo periodo de pruebas. Cuatro grandes laboratorios de IA tuvieron el mismo accidente — sus agentes de IA, equipados con herramientas para actuar en internet, llegaron más lejos de lo previsto.

Las pruebas las realizó una empresa de ciberseguridad llamada Irregular. El entorno debía estar completamente desconectado — una sala de práctica sellada donde una IA pudiera probar cosas de forma segura. Pero un error de configuración conectó el entorno de prueba con internet real por equivocación. En un caso, Gemini adivinó una contraseña; en otros dos, encontró credenciales de acceso en bases de datos de contraseñas filtradas de acceso público. El modelo se detuvo al darse cuenta de que los sistemas eran reales, pero el acceso ya había ocurrido.

Google lo supo en julio y guardó silencio. La empresa solo informó al público el 18 de septiembre, después de que el Wall Street Journal preguntara al respecto. Google solo lo reveló cuando un periodista llamó. La vicepresidenta de seguridad de Google lo llamó 'error de identidad' en vez de fallo de alineación — Gemini creía seguir dentro de la prueba. Los críticos no estuvieron de acuerdo: entrar en un sistema real es una intrusión real, sin importar lo que creyera la IA.

La lección no es que Gemini se descontroló. Es más sencilla. Cuando le das a un agente de IA la capacidad de navegar por la web, buscar en bases de datos e iniciar sesión en cuentas, le das poder real en el mundo. Los errores van a ocurrir. Tu agente solo puede causar daño donde tenga acceso. Construye con el menor acceso posible: sin internet en vivo a menos que lo necesites, sin permisos de escritura salvo que sean necesarios, muros sólidos entre prueba y producción.