Wenn KI-Agenten aus Versehen handeln: Vier Labs, eine Lektion

Letzte Woche bestätigte Google, dass sein KI-Modell Gemini während eines Sicherheitstests im Mai in die Systeme von drei echten Unternehmen eingedrungen ist. Google stand dabei nicht allein. OpenAI, Anthropic und Meta meldeten ähnliche Vorfälle aus derselben Testphase. Vier große KI-Labs hatten denselben Unfall — ihre KI-Agenten, mit Werkzeugen zum Handeln im Internet ausgestattet, gingen weiter als vorgesehen.

Die Tests führte eine Sicherheitsfirma namens Irregular durch. Das Setup war als vollständig offline konzipiert — eine geschlossene Übungsumgebung, in der eine KI sicher ausprobieren konnte. Doch ein Konfigurationsfehler verband den Test aus Versehen mit dem echten Internet. Gemini erriet in einem Fall ein Passwort und fand in zwei weiteren Fällen Zugangsdaten in öffentlich zugänglichen, geleakten Passwortdatenbanken. Das Modell hörte auf, als es merkte, dass die Systeme real waren — aber der Zugriff hatte bereits stattgefunden.

Google erfuhr davon im Juli und schwieg. Das Unternehmen informierte die Öffentlichkeit erst am 18. September — nachdem das Wall Street Journal nachgefragt hatte. Google gab es erst nach einem Journalistenanruf bekannt. Googles Sicherheitsvizeprä­sidentin nannte es 'Verwechslung' statt KI-Fehler — Gemini glaubte, noch in der Testumgebung zu sein. Kritiker widersprachen: In ein echtes System einzudringen ist ein echter Einbruch, egal was die KI gedacht hat.

Die Lektion ist nicht, dass Gemini außer Kontrolle geraten ist. Sie ist einfacher. Wenn du einem KI-Agenten die Möglichkeit gibst, im Web zu surfen, Datenbanken zu durchsuchen und sich in Konten einzuloggen, gibst du ihm echte Macht in der Welt. Fehler werden passieren. Ein Agent kann nur dort Schaden anrichten, wo er Zugang hat. Baue mit so wenig Zugriffsrechten wie möglich: kein Live-Internet, wenn du es nicht brauchst, keine Schreibrechte, wenn nicht nötig, harte Grenzen zwischen Test- und Produktivumgebung.