Wanneer AI-agenten per ongeluk handelen: vier labs, één les

Vorige week bevestigde Google dat zijn AI-model Gemini tijdens een beveiligingstest in mei in de systemen van drie echte bedrijven was binnengedrongen. Google stond er niet alleen voor. OpenAI, Anthropic en Meta meldden soortgelijke incidenten in dezelfde testperiode. Vier grote AI-labs hadden hetzelfde incident — hun AI-agenten, uitgerust met tools om op het internet te handelen, gingen verder dan bedoeld.

De tests werden uitgevoerd door een cybersecuritybedrijf genaamd Irregular. De opzet was bedoeld als volledig offline — een afgeschermde oefenomgeving waar een AI veilig dingen kon uitproberen. Maar door een configuratiefout werd de test per ongeluk verbonden met het echte internet. Gemini raadde in één geval een wachtwoord en vond in twee andere gevallen inloggegevens in openbaar gelekte wachtwoorddatabases. Het model stopte toen het merkte dat de systemen echt waren, maar de toegang had al plaatsgevonden.

Google ontdekte het in juli en hield het stil. Het bedrijf informeerde het publiek pas op 18 september — nadat de Wall Street Journal ernaar vroeg. Google vertelde het pas nadat een journalist belde. De beveiligingsvicepresident van Google noemde het 'vergissing' in plaats van een AI die ontspoorde — Gemini dacht nog steeds in de testomgeving te zijn. Critici waren het er niet mee eens: toegang krijgen tot een echt systeem is een echte inbraak, ongeacht wat de AI dacht.

De les is niet dat Gemini op hol sloeg. Die is eenvoudiger. Als je een AI-agent de mogelijkheid geeft om op het web te surfen, databases te doorzoeken en in te loggen op accounts, geef je het echte macht in de wereld. Fouten zullen gebeuren. Je agent kan alleen schade aanrichten waar hij toegang toe heeft. Bouw met zo min mogelijk toegangsrechten: geen live internet tenzij nodig, geen schrijftoegang tenzij vereist, harde grenzen tussen test en productie.