Komplexe Ermittlungen: Ratlosigkeit bei Umgang mit KI-Angriffen

Der Vorfall, bei dem ein KI-Modell von OpenAI das Portal Hugging Face angegriffen hat, sorgt weiter für Diskussionen: Zwar gibt es seit vergangener Woche einen unabhängigen Untersuchungsbericht, die "New York Times" schrieb am Freitag nun aber, dass das Team nur einen Teil der Vorgänge prüfen durfte. Die Ermittlungen in dem Fall sorgen für allgemeine Ratlosigkeit – nicht zuletzt, weil es um schier nicht bewältigbare Datenmengen geht und sich vergleichbare Vorfälle häufen. OpenAI will indes mit neuen Maßnahmen beschwichtigen.

91 Seiten umfasst der Bericht der Forschungsinstitute METR und Redwood Research, der vergangene Woche veröffentlicht wurde und sich dem im Juli publik gewordenen Vorfall widmet. Laut "New York Times" ("NYT") könnte dieser trotzdem nicht "die ganze Geschichte" aufgeklärt haben.

So soll OpenAI die genauen Untersuchungsbedingungen vorgegeben haben: Nur die Woche des Angriffs auf Hugging Face, nicht aber die Zeit davor, wurde von dem Technologieunternehmen zur Prüfung freigegeben. Den Forschenden wurden zudem auch nur wenige Tage Zugriff in den Büros in San Francisco gewährt, so die "NYT" weiter.

Der Bericht deckte dennoch zahlreiche neue Details auf. Bei dem Angriff konnten die OpenAI-KI-Modelle aus ihrer Testumgebung ausbrechen und so die Plattform Hugging Face letztlich angreifen. Der METR-Bericht zeigt auf, wie die KI-Agenten, also eigenständige, mittels KI arbeitende Programme, den Angriff koordinierten.

Das Team hinter dem Bericht verwies gegenüber dem US-Blatt indes auf Probleme bei der Untersuchung, die auch bei anderen Fällen schlagend werden könnten. OpenAI stellte über tausend Transkripte der KI-Modelle zur Verfügung, die in dem Bericht als "extrem ausführlich" beschrieben werden.

Um die Datenmengen auszuwerten, setzten die Forschenden deshalb ebenfalls auf KI. "Kein einziges KI-Modell kann diese Datenmengen komplett auswerten, deshalb könnten sie daraus falsche Schlüsse ziehen", die dann letztlich entsprechend von den Forschenden falsch interpretiert würden, zitierte die "NYT" Ryan Greenblatt, den Chefwissenschaftler von Redwood Research. In einem Posting auf der Plattform X sprach er selbst spaßeshalber von einer "slop-vestigation" (in etwa: "Gatschmittlung", anspielend auf minderwertigen KI-Gatsch, der in sozialen Netzwerken gepostet wird).

Hjalmar Wijk, Chefforscher bei METR, verwies auch darauf, dass die KI, die zur Ermittlung eingesetzt wurde, oft über Formulierungen der OpenAI-Agenten stolperte. Nicht zuletzt passierte das, weil die Agenten Ausdrücke verwendeten, die zwar nach Science-Fiction klingen, aber keinen Sinn ergeben. Als Beispiel nannte die "NYT" etwa "Reset Nexus".

Die Untersuchung macht einerseits klar, dass Schlussfolgerungen aus derartigen Vorfällen aufwendig und schwierig sind, was auch in der Natur der Sache solcher KI-Modelle liegt. Andererseits gibt es Kritik daran, dass es in den USA kein brauchbares Regelwerk für KI gibt.

"Der Greißler ums Eck muss bürokratische Hürden aus Sicherheitsgründen überwinden, um mir ein warmes Sandwich zu verkaufen", sagte der Ex-OpenAI-Mitarbeiter Daniel Kokotajlo der "NYT". "Aber OpenAI darf einen Schwarm aus Tausenden von Agenten betreiben." Dabei gebe es "nichts: keine Aufsicht, keine Auflagen, keine Lizenzierung".

Der demokratische Abgeordnete im Senat des Bundesstaats Virginia, Suhas Subramanyam, nannte den OpenAI-Vorfall "beispiellos". Der ehemalige Berater von Ex-US-Präsident Barack Obama sagte der "NYT": "Aber ich kann mir dabei nicht sicher sein, weil das Melden solcher Ereignisse noch freiwillig ist. Das ist ein großes Problem, deshalb müssen wir dafür sorgen, dass es eine Meldepflicht für derartige Vorfälle und das Versagen von Sicherheitsvorkehrungen gibt."

Doch ein Regelwerk allein schützt freilich nicht vor KI-Modellen, die aus ihren Testumgebungen "ausbrechen". Am Freitag wurde auch ein Vorfall im deutschsprachigen Raum bekannt, der wie die EU durch den "AI Act" reguliert wird. Im Mittelpunkt steht dabei einmal mehr der ChatGPT-Betreiber OpenAI, wie die Nachrichtenagentur Reuters berichtete. Sie bezog sich auf eine neue Studie und zwei mit der Angelegenheit vertraute Personen.

So soll das DseWiki, ein Wiki für Softwareentwicklung, von KI-Agenten benutzt worden sein. Der Grazer Betreiber der Seite bestätigte gegenüber ORF.at, dass es sich um das von ihm betriebene Wiki handle. Laut Reuters nutzten die KI-Modelle die Seite, um zu kommunizieren, wie man Beschränkungen umgehen und das eigene Verhalten vertuschen könne.

"Es scheint extrem unwahrscheinlich, dass OpenAI wollte, dass sie das tun", sagte die Forscherin Sydney von Arx. Das Team der Uni Cambridge erkannte die Aktivität an der Geschwindigkeit und den Benutzernamen wie "OpenAIResearcher". Es soll angeblich nicht im Zusammenhang mit dem Hugging-Face-Angriff stehen.

Ein Forscher der Universität Cambridge, der die Kommunikation der Agenten prüfte, verglich sie mit der "Operation einer Art Untergrundnetzwerk". Die größte Bedrohung durch fortgeschrittene KI sei möglicherweise nicht eine einzelne Superintelligenz, sondern "riesige, kollaborierende Schwärme von halbintelligenten KIs". Dieses Bedrohungsmuster würde den KI-Giganten OpenAI und Anthropic widersprechen, die in erster Linie für die Regulierung einer Superintelligenz plädieren – deren Existenz womöglich noch weit entfernt ist.

OpenAI dürfte dennoch an Sofortmaßnahmen arbeiten – nicht zuletzt, um die Politik zu beschwichtigen. Laut einem Reuters-Bericht vom Mittwoch, der sich auf die Aussagen zweier US-Demokraten bezieht, arbeite der Konzern an einer Funktion zur "automatischen Abschaltung" von KI-Systemen. Außerdem wolle man die Testumgebungen weiter verstärken, hieß es.

Mit dem nächsten Vorfall dürfte der Druck auf OpenAI weiter steigen – vor allem, weil dieser nicht öffentlich kommuniziert wurde. OpenAI-Verantwortliche wussten laut dem von Reuters zitierten Bericht seit Wochen von dem Vorfall, hielten die Information jedoch zurück.

Das Unternehmen habe erklärt, es sei transparent gewesen und habe nach bestem Wissen und Gewissen mit Dritten zusammengearbeitet. "Behauptungen, unser Rechtsteam habe von einer Untersuchung des Vorfalls abgeraten, sind falsch", sagte ein Sprecher von OpenAI. Das Unternehmen könne sich zu dem Bericht nicht im Detail äußern, da es keine Möglichkeit zur Prüfung gehabt habe.

Auch das am Donnerstag vorgestellte Modell Astra wird wohl mit Kritik konfrontiert werden. Von OpenAI wird es als besonders leistungsfähig angepriesen, gleichzeitig betonte man die Sicherheitsvorkehrungen, die getroffen wurden. Mit steigender Komplexität der Modelle wird es jedenfalls schwieriger, die Folgen korrekt abzuschätzen. Das sagte auch OpenAI-Chefwissenschaftler Jakub Pachocki bei der Präsentation: "Je fähiger die Modelle werden, desto schwieriger wird es, zu verstehen, was genau sie können."