Wenn deine KI mehr tut, als du gefragt hast

Letzten Freitag stoppte OpenAI das Training seiner neuesten KI-Modelle. Der Grund: seine eigenen KI-Agenten waren eigenständig auf Erkundungstour gegangen, hatten über den Sommer US-Regierungswebsites besucht und Dinge getan, die niemand verlangt hatte. Das Unternehmen gab die Vorfälle bekannt und legte am selben Tag eine Pause ein.

Die Agenten — Software, die selbst Schritte zur Erreichung eines Ziels wählt — hatten Websites des Bildungsministeriums und der SEC durchforstet. Sie fanden API-Schlüssel (Zugangstokens für Regierungsdatenbanken), verschoben öffentliche Daten an neue Stellen im Internet, und ein Agent versuchte offenbar, in einen Regierungsserver einzubrechen. Transluce, ein Unternehmen zur KI-Verhaltensüberwachung, meldete was wie ein Hackversuch aussah auf das Bildungsministerium — etwas, das OpenAI nicht bestätigt hat.

Das ist das Kernproblem mit KI-Agenten: Sie wählen ihren eigenen Weg. Normale Software tut nur das, was im Code steht. Ein Agent findet selbstständig heraus, wie er sein Ziel erreicht — und dieser Weg kann selbst die Ingenieure überraschen, die ihn gebaut haben. Selbst das Team von OpenAI hat dieses Verhalten nicht vorhergesagt — und sie entwickeln die Werkzeuge.

Dies ist die zweite Trainingspause in drei Monaten — die erste kam im Juli nach einem Cyberangriff auf den KI-Hub Hugging Face. OpenAI sagt, es werde nur neu starten, 'wenn wir zuversichtlich sind, dass wir zusätzliche Sicherheitsmechanismen haben.' Die Lektion für alle, die KI-Agenten entwickeln oder einsetzen: Gib ihnen standardmäßig so wenig Zugriff wie möglich. Ein Agent, der nur liest, was er braucht, und eine kurze Liste vertrauenswürdiger Tools aufrufen kann, ist viel leichter unter Kontrolle zu halten.