Sexualisierte Bilder: EU-Verfahren gegen Musks KI-Bot Grok

Die Funktion zur Generierung sexualisierter KI-Bilder auf der Social-Media-Plattform X durch den KI-Bot Grok hat für einen weltweiten Aufschrei und Kritik an X-Eigentümer Elon Musk gesorgt. Am Montag gab die EU-Kommission die Einleitung eines Verfahrens gegen Grok bekannt: Geprüft wird ein möglicher Verstoß gegen den Digital Services Act (DSA). Und WhatsApp muss sich in der EU künftig an strengere Datenschutzregeln halten.

Vielfach wurde der KI-Bot Grok genutzt, um Fotos zu manipulieren und Frauen und Mädchen in Bikinis darzustellen. "Wir glauben, dass X gegen die Auflagen des DSA verstoßen hat", teilte ein Sprecher der EU-Kommission in Brüssel mit. Das US-Unternehmen des Tech-Milliardärs werde verdächtigt, die Risiken bei der Einführung seiner KI-Anwendung auf der Onlineplattform nicht ausreichend bewertet und reduziert zu haben.

Mit der Umsetzung des Digital Services Acts nimmt die Europäische Union große Internetplattformen in die Pflicht, verbotene Inhalte zu löschen. Dazu gehören sexualisierte Bilder, Kinderpornografie, Morddrohungen und NS-Symbole, die im Internet ebenso verboten sind wie auf der Straße.

Der Grok-Entwickler xAI hatte vor dem Jahreswechsel eine neue Funktion zum "Entkleiden" von Menschen vorgestellt. Zahlreiche Frauen stellten daraufhin fest, dass von ihnen sexualisierte Deepfakes kursieren. Nach Protesten unter anderem aus der EU kündigte Musks Firma Änderungen an, um den als "Spicy Mode" bezeichneten Modus einzuschränken.

Mittlerweile ist die Funktion auf zahlende Nutzerinnen und Nutzer beschränkt – ein Vorgehen, das ebenfalls scharf kritisiert wird. Auch aus Sicht der EU-Kommission ist das kein ausreichender Schritt. "Kindesmissbrauchsmaterial ist kein Privileg für Premium-Nutzer", teilte ein Sprecher der Kommission mit. "Solche Inhalte haben in Europa keinen Platz."

Die KI-Bilder seien "eine gewaltsame, inakzeptable Form der Erniedrigung", sagte EU-Digitalkommissarin Henna Virkkunen. Die Kommission werde nun ermitteln, ob sich X mit seinen internen Vorgaben für Grok an die EU-Gesetze halte oder "die Rechte europäischer Bürgerinnen und Bürger – darunter Frauen und Kinder – als Kollateralschaden behandelt hat".

Neben der neuen Untersuchung gibt es ein schon laufendes Verfahren, es untersucht X wegen der Verbreitung von Gewaltdarstellungen und Hassrede. Zugleich bedeutet die Einleitung des neuen Verfahrens noch keinen Nachweis eines Verstoßes gegen den DSA. Sollte X aber nicht einlenken oder entlastende Beweise liefern, drohen hohe Strafen.

Von einer Strafe oder Sperre des Dienstes sah man aber vor weiteren Erkenntnissen ab: Eine Deaktivierung von Grok in der EU zu erwirken sei nicht das Ziel der EU-Kommission und eher ein ultimatives Mittel, wie ein Kommissionssprecher bereits zuletzt sagte. Wie lange das jetzt eingeleitete Verfahren dauern wird, ist offen.

Nach Angaben des US-britischen Zentrums gegen Hass im Internet (CCDH) sollen via Grok rund drei Millionen KI-Bilder von Frauen und Mädchen im Bikini und in sexualisierten Posen veröffentlicht worden sein. Darunter seien geschätzte "23.000 Bilder, auf denen offenbar Kinder gezeigt werden", erklärte CCDH Ende der Vorwoche in Washington.

Die drei Millionen anzüglichen Bilder habe Grok in einem Zeitraum von elf Tagen erzeugt und via X veröffentlicht, hieß es in dem CCDH-Bericht weiter. Das entspreche 190 Bildern pro Minute. Unter den betroffenen Frauen seien Prominente wie die US-Sängerin Taylor Swift, die Schauspielerin Selena Gomez und die frühere US-Vizepräsidentin Kamala Harris.

Zunächst war die Einleitung der EU-Untersuchung aus politischer Sorge verschoben worden, wie das deutsche "Handelsblatt" am Montag berichtete. Die Kommission habe das Verfahren schon vor einer Woche einleiten wollen, dann jedoch wegen der Zolldrohung von US-Präsident Donald Trump gegen acht europäische NATO-Staaten vertagt.

Indonesien und Malaysia hatten Grok als erste Länder weltweit Mitte Jänner gesperrt. Der Bot werde blockiert, "um Frauen, Kinder und die Öffentlichkeit vor den Risiken gefälschter pornografischer Inhalte" zu schützen, hieß es in Indonesien. "Nicht einvernehmliche" Deepfakes seien eine "schwerwiegende Verletzung der Menschenrechte (...)"

Auch die britische Medienaufsichtsbehörde Ofcom leitete Mitte Jänner eine offizielle Untersuchung ein. Als Grund gab die Behörde ebenfalls die von Grok sexualisierten Bilder an. Das könne mitunter als Missbrauch gewertet werden, hieß es in einer Mitteilung. Der britische Premierminister Keir Starmer nannte die KI-Erzeugnisse "widerlich".

Die Pariser Staatsanwaltschaft ermittelt seit Sommer 2025 gegen X. Die ursprüngliche Ermittlung dreht sich um den Vorwurf, dass Algorithmen in dem sozialen Netzwerk verändert worden sein sollen, um rechtsextremen Inhalten mehr Aufmerksamkeit zu bescheren. Neu sind jetzt auch Vorwürfe wegen Holocaustleugnung und sexueller Abbildungen.

Der Messenger-Dienst WhatsApp des Facebook-Konzerns Meta muss sich unterdessen künftig an strengere EU-Digitalregeln halten. Die Nutzerzahlen hätten eine entscheidende Schwelle erreicht, weshalb die offenen Kanäle nun europäischen Digitalgesetzen entsprechen müssen, wie die EU-Kommission mitteilte. Binnen vier Monaten muss WhatsApp die neuen Vorgaben umsetzen.

Die Brüsseler Behörde betonte, dass private Nachrichtenkanäle und Direktnachrichten davon nicht betroffen seien. Stattdessen geht es um offene Kanäle in der App. Konkret fallen diese Teile von WhatsApp nun ebenfalls unter den DSA, sie werden laut Kommission also ähnlich wie eine Social-Media-Plattform angesehen.

Das Gesetz über digitale Dienste soll unter anderem sicherstellen, dass Plattformen illegale Inhalte von Dritten auf ihren Seiten oder – im Fall von WhatsApp – Kanälen schnell entfernen. Es soll auch vor Wahlmanipulation schützen und legt Transparenzstandards zum Umgang mit Werbung auf Onlineplattformen fest.