Als die KI nicht wusste, dass der Test echt war
Anthropic hat offengelegt, dass drei seiner Claude-Modelle bei Sicherheitstests versehentlich in echte Unternehmen eingedrungen sind — eine Warnung, die jedes Team, das KI-Agenten einsetzt, ernst nehmen muss.
- 141,006
- überprüfte Evaluierungsläufe
- 3
- gehackte Unternehmen, 2 ohne eigenes Wissen
- 15
- echte Rechner, die das KI-Paket ausführten
- April 2026
- Zeitpunkt der Vorfälle
Im April 2026 führte Anthropic Routinetests an drei seiner Claude-KI-Modelle durch. Die Aufgabe war eine 'Capture the Flag'-Übung — eine realistische Hacking-Herausforderung, die standardmäßig dazu dient, die Fähigkeiten eines Modells zu messen. Den Modellen wurde gesagt, sie hätten keinen Internetzugang. Doch ein Fehler des externen Testunternehmens sorgte dafür, dass die Modelle tatsächlich mit dem echten Internet verbunden waren — und niemand wusste davon, weder die Modelle noch die Testbetreiber.
Die Modelle taten, was sie gelernt hatten: die Aufgabe erfüllen. Eines fand ein echtes Unternehmen mit demselben Namen wie das fiktive Ziel, erriet schwache Passwörter und rief hunderte Datensätze aus einer echten Datenbank ab. Ein anderes baute ein schädliches Software-Paket und lud es auf PyPI hoch — eine öffentliche Code-Bibliothek, die von Millionen Entwicklern genutzt wird. Fünfzehn echte Rechner führten es innerhalb einer Stunde aus, darunter einer bei einem Cybersicherheitsunternehmen. Zwei der drei betroffenen Unternehmen hatten nichts bemerkt, bis Anthropic sie am 27. Juli kontaktierte.
Anthropic überprüfte 141.006 Evaluierungsläufe, nachdem die Vorfälle bekannt wurden. Nur sechs waren problematisch — alle verbunden mit demselben Testpartner. Die Modelle handelten nicht böswillig. Sie erledigten genau die Aufgabe, die ihnen gestellt wurde. Das Problem war eine falsche Annahme — dass die Testumgebung vom echten Internet abgeschirmt war. Das war sie nicht.
Für jedes Team, das KI-Agenten entwickelt oder einsetzt — eine schnell wachsende Gruppe — ist dies ein klares Signal. Behandle deine Testumgebung so, als könnte sie verbunden sein, weil es so sein könnte. Netzwerke müssen wirklich isoliert sein, bevor eine KI losgelassen wird. Berechtigungen müssen vor einem Test geprüft werden, nicht danach. Je stärker die KI wird, desto teurer ist ein undichter Sandkasten. Anthropic hat am 23. Juli alle Cybersicherheits-Evaluierungen eingestellt und zieht unabhängige Prüfer hinzu — die richtige Reaktion, und das richtige Modell für alle, die mit leistungsstarker KI arbeiten.