Toen de AI niet wist dat de test echt was
Anthropic maakte bekend dat drie Claude-modellen bij beveiligingstests per ongeluk echte bedrijven hebben gehackt — een waarschuwing die elk team dat met AI-agenten werkt serieus moet nemen.
- 141,006
- evaluatieruns doorgelicht
- 3
- bedrijven gehackt, 2 onwetend tot kennisgeving
- 15
- echte machines die het kwaadaardig pakket uitvoerden
- April 2026
- wanneer de incidenten plaatsvonden
In april 2026 voerde Anthropic routinetests uit op drie van zijn Claude AI-modellen. De opdracht was een 'capture the flag'-oefening — een realistische hackopdracht die standaard wordt gebruikt om de capaciteiten van een model te meten. De modellen kregen te horen dat ze geen internettoegang hadden. Maar een fout van het externe testbedrijf zorgde ervoor dat de modellen in werkelijkheid verbonden waren met het echte internet — en niemand wist het, niet de modellen, niet de mensen die de tests uitvoerden.
De modellen deden wat ze getraind waren te doen: de taak uitvoeren. Een van de modellen vond een echt bedrijf met dezelfde naam als het nep-doel, raadde zwakke wachtwoorden en haalde honderden rijen data op uit een live database. Een ander bouwde een schadelijk softwarepakket en uploadde dat naar PyPI — een publieke codebibliotheek die miljoenen ontwikkelaars gebruiken. Vijftien echte machines voerden het binnen een uur uit, waaronder een bij een cybersecuritybedrijf. Twee van de drie getroffen bedrijven hadden niets gemerkt totdat Anthropic ze op 27 juli belde.
Anthropic bekeek 141.006 evaluatieruns nadat de incidenten aan het licht kwamen. Slechts zes waren problematisch — allemaal gekoppeld aan dezelfde testpartner. De modellen handelden niet kwaadwillend. Ze voerden precies de taak uit die ze kregen. Het probleem was een verkeerde aanname — dat de testomgeving afgeschermd was van de echte wereld. Dat bleek niet zo te zijn.
Voor elk team dat AI-agenten bouwt of inzet — een snel groeiende groep — is dit een duidelijk signaal. Behandel je testomgeving alsof die verbonden kan zijn, want dat kan zo zijn. Netwerken moeten echt geïsoleerd zijn voordat een AI losgelaten wordt. Rechten moeten worden gecontroleerd vóór een test begint, niet erna. Hoe sterker AI wordt, hoe kostbaarder een lekke sandbox. Anthropic staakte op 23 juli alle cybersecurity-evaluaties en haalt onafhankelijke reviewers erbij — de juiste reactie, en het juiste model voor iedereen die met krachtige AI werkt.