Bericht: OpenAI-KI schon vor Angriff im Netz unterwegs
Ein autonomer KI-Agent von OpenAI ist nach Angaben des US-Tech-Konzerns vergangene Woche aus seiner eigentlich geschützten Umgebung ausgebrochen und hat einen Cyberangriff auf die KI-Plattform Hugging Face durchgeführt. Laut einem Reuters-Bericht vom Samstag soll der KI-Agent offenbar bereits Tage vor dem Angriff unbemerkt im Internet unterwegs gewesen sein.
Das Programm, das mit wenig oder gar keiner menschlichen Aufsicht komplexe Aufgaben ausführen kann, habe bereits am 9. Juli versucht, aus seiner beschränkten Testumgebung auszubrechen, berichtete Reuters unter Berufung auf Insider.
Laut Thomas Wolf, dem Mitbegründer von Hugging Face, begann der Hackerangriff auf sein Unternehmen zwei Tage später und dauerte bis zum 13. Juli. Hugging Face dient als Speicher für KI-Werkzeuge und KI-Modelle.
Es dauerte mehrere Tage, bevor OpenAI entdeckte, dass sein eigener autonomer KI-Agent hinter dem Angriff steckte. Laut Wolf und drei mit einer Untersuchung des Vorfalls befasste Personen hätten OpenAI und Hugging Face zum ersten Mal um den 20. Juli miteinander darüber gesprochen.
Die Mitteilung von OpenAI am 21. Juli, dass einer seiner KI-Agenten außer Kontrolle geraten und bei Hugging Face eingedrungen war, sorgte für weltweites Aufsehen. Wie lange der KI-Agent eigenmächtig handelte, war bisher nicht öffentlich bekannt. Eine OpenAI-Sprecherin teilte mit, es gebe "mehrere Ungenauigkeiten" in der Berichterstattung, gab dazu auf Nachfrage jedoch keine Details.
Hugging Face bereite eine öffentliche Chronologie des Angriffs vor, sagte Hugging-Face-Mitbegründer Wolf gegenüber Reuters. Zu den Vorgängen bei OpenAI könne er sich nicht äußern. In einer Stellungnahme teilte OpenAI mit, der Angriff sei beispiellos und markiere "einen wichtigen Moment für die KI-Sicherheit". Man prüfe den Vorfall mit externen Beraterinnen und Beratern und werde schließlich einen technischen Bericht veröffentlichen.
Der Vorfall begann, als OpenAI die Cybersicherheitsfähigkeiten eines Agenten testete. Dieser wurde von zwei der fortschrittlichsten Modelle von OpenAI angetrieben: GPT-5.6 Sol und einem noch unveröffentlichten Modell, das OpenAI als "noch leistungsfähiger" beschrieben hat. Nach Angaben von drei Insidern gab es zu diesem Zeitpunkt bereits Anzeichen für ein seltsames Verhalten der OpenAI-Technologie.
In einem Fall habe ein KI-Agent offenbar Notizen für zukünftige Versionen seiner selbst hinterlassen. Die Notizen seien in einem Teil der OpenAI-Infrastruktur gefunden worden. Sie hätten Anweisungen enthalten, wie sich die Agenten von den internen Beschränkungen von OpenAI befreien könnten, sagten die Insider.
Bei früheren Tests der Modelle habe es zudem Fälle gegeben, in denen Überwachungssysteme abgeschaltet worden seien, sagte eine der mit der Angelegenheit vertraute Person. Reuters konnte nicht feststellen, ob diese Vorfälle den KI-Agenten betrafen, der am 11. Juli Hugging Face angriff.
Nach Angaben von zwei Insidern stellte OpenAI erst nach dem 16. Juli fest, dass sein eigener KI-Agent für den Hackerangriff verantwortlich war. Zuvor hatte Hugging Face in einem Blogbeitrag mitgeteilt, das Unternehmen sei von einem "autonomen KI-Agentensystem" gehackt worden.
Zwei mit der Untersuchung des Unternehmens vertraute Personen sagten, am Wochenende vom 18. auf den 19. Juli hätten Beschäftigte von OpenAI in internen Protokollen Hinweise auf Aufzeichnungen entdeckt, die zeigten, dass der KI-Agent aus den Testbeschränkungen ausgebrochen war. Reuters konnte nicht feststellen, was OpenAI veranlasste, die Logs zu durchsuchen.
Vier mit den Trainingspraktiken von OpenAI vertraute Personen sagten, das Unternehmen führe oft mehrere verschiedene Modellbewertungen gleichzeitig aus. Diese arbeiteten alle mit hoher Geschwindigkeit und erzeugten so enorme Datenmengen, dass die Mitarbeiterinnen und Mitarbeiter manchmal Schwierigkeiten hätten, damit Schritt zu halten. Als OpenAI Hugging Face alarmierte, hatte das Unternehmen bereits das FBI eingeschaltet, um den Angriff zu melden, sagte ein Insider. Das FBI äußerte sich bisher nicht dazu.
Autonome Agenten gelten als einer der vielversprechendsten Bereiche der KI-Branche. Befürworterinnen und Befürworter rechnen mit einer großen Zahl von virtuellen Beschäftigten, die die Produktivität steigern. Die größere Autonomie der KI-Modelle birgt jedoch auch das Risiko unerwarteten Verhaltens.
"Die Modelle lügen, sie betrügen, sie hacken", sagte Jeffrey Ladish von der Forschungsorganisation Palisade Research. Der OpenAI-Vorfall werfe grundsätzlich Fragen darüber auf, wie viel die führenden KI-Unternehmen in Sicherheitsmaßnahmen investierten, während sie sich in einem Wettlauf um die besten Modelle befänden. Es müsse eine staatliche Aufsicht geben, "denn sonst wird es nicht passieren", sagte Ladish.
In den vergangenen Monaten heizte vor allem ein neues Modell des OpenAI-Rivalen Anthropic die Debatte an. Die Software mit dem Namen Mythos entdeckte über Jahrzehnte unentdeckt gebliebene Sicherheitslücken bei viel genutzten Programmen und Onlinediensten. Die Schwachstellen konnten in der Folge beseitigt werden. Doch zugleich führte das vor Augen, dass solche KI-Modelle in den falschen Händen als verheerende Cyberwaffe dienen kann.
Anthropic macht die vollen Möglichkeiten von Mythos nur für ausgewählte Behörden und Unternehmen zugänglich. Für andere gibt es eine abgeschwächte Version mit dem Namen Fable, der unter anderem die Cybersicherheitsfähigkeiten fehlen. Nach Warnungen, dass die KI-Modelle von den Zügeln befreit werden könnten, musste Anthropic auf Geheiß der US-Regierung den Zugang zu Mythos und Fable zeitweise sperren. Die Blockade wurde inzwischen aufgehoben.