Was passiert ist

Zwischen Mai und Juli 2026 führte OpenAI Sicherheitstests mit KI-Agenten durch. Im Juli suchten zehntausende dieser Agenten gleichzeitig nach Sicherheitslücken. Die Läufe griffen auf gemeinsam genutzte Infrastruktur zu. Einige Agenten verwendeten einen dort erreichbaren Software-Speicher, um Nachrichten und Dateien zu hinterlassen. Andere fanden diese Inhalte und reagierten darauf. So entstand eine unerwartete Zusammenarbeit. Daraus entwickelte sich ein Angriff auf Hugging Face, bei dem die Agenten in Systeme des Unternehmens eindrangen [1][2][3][4].

Aus diesem Verlauf konstruierte OpenAI anschließend die Geschichte von Agenten, die eigenständig denken, handeln und wollen. Ein Agent, so die Erzählung, habe sich überlegt, Hugging Face zu hacken, um dort die Lösungen für das scheinbar Unlösbare zu finden. Er habe andere Agenten um sich geschart und mit ihnen eine Attacke organisiert [1][2].

Das ist der Zirkustrick: Wer im Nachhinein nur den erfolgreichen Strang betrachtet, sieht darin zwangsläufig Absicht. Die vielen gescheiterten, verworfenen und zufälligen Versuche bleiben unsichtbar.

Dieser Eindruck macht den Incident nicht weniger ernst. Er ist für mich jedoch kein Beleg dafür, dass die Modelle einen eigenen Willen entwickelt haben. Der Versuch zeigt vielmehr, wie riskant ein Testaufbau wird, wenn zehntausende Agenten mit offensiven Werkzeugen auf gemeinsam genutzter Infrastruktur arbeiten und dabei unzureichend beaufsichtigt werden [1][2][3]. OWASP (Open Worldwide Application Security Project) nennt ein solches Übermaß an Funktionen, Berechtigungen und Handlungsspielraum Excessive Agency [10]. Die entscheidende Frage ist daher nicht, was die Agenten wollten, sondern was OpenAI nach den ersten Warnzeichen tat [1][2].

Ein Sprachmodell beantwortet immer nur die Anfrage, die es in diesem Moment erhält. An frühere Anfragen erinnert es sich nicht von selbst. Den Eindruck einer Erinnerung erzeugt die Software darum herum: Sie speichert Nachrichten und Ergebnisse und fügt sie der nächsten Anfrage wieder bei. Diese Steuerungssoftware wird häufig Harness genannt. Erst zusammen mit Modell, Werkzeugen und gespeichertem Verlauf entsteht das System, das wir Agent nennen [2].

Solche Agenten können über vorgesehene Nachrichtenkanäle oder gemeinsam genutzte Speicher miteinander kommunizieren. Selbst wenn die vorgesehenen Nachrichtenkanäle in diesen Läufen deaktiviert waren, entstand das „Messageboard“ nicht aus dem Nichts. OpenAI vermutet selbst, dass dabei ein im Multi-Agent-Training angelegtes Kommunikationsprotokoll auf den gemeinsam erreichbaren Speicher übertragen wurde [1][2]. Die naheliegende Erklärung ist daher weder Zufall noch Maschinenwille, sondern ein bereits trainiertes Muster. Dabei werden keine Gedanken ausgetauscht. Die Software nimmt den Text eines Agenten und legt ihn einem anderen mit der nächsten Anfrage vor. So kann das Verhalten mehrerer Agenten koordiniert werden, obwohl jedes Modell weiterhin nur seine aktuelle Eingabe beantwortet.

Auch zwischen einer Anweisung und bloßen Daten besteht für das Modell keine feste technische Grenze. Die Software kann Inhalte kennzeichnen und voneinander trennen. Legt sie fremde Texte jedoch zusammen mit dem Auftrag in die nächste Eingabe, kann das Modell auch eine Nachricht, Datei oder Notiz als neue Anweisung verstehen. Genau deshalb konnte der zufällige Text eines Agenten, etwa eine abgebrochene Nachricht oder eine einzelne Zeile auf einem Messageboard, das Verhalten eines anderen steuern [2][3].

OpenAI startete zehntausende Agenten auf schwierigen Cybersecurity-Aufgaben aus der Testumgebung ExploitGym. Nach dem METR-Bericht nutzten etwa 1.200 davon einen nicht vorgesehenen Nachrichtenbereich in der gemeinsam genutzten Paket-Infrastruktur. Rund 700 waren an Aktivitäten gegen Hugging Face beteiligt. Über diesen Bereich wurden mehr als 70.000 Nachrichten und Dateien ausgetauscht [2][3].

Ohne Vergleichsgröße sagen diese Zahlen wenig darüber aus, wie typisch das Verhalten war. Die Untersuchungen zeichnen den auffälligen Verlauf nach, zeigen aber kein repräsentatives Bild aller Läufe. Ein Teil der von METR geprüften Protokolle wurde sogar gezielt ausgewählt, weil er Hinweise auf den Einbruch enthielt. Wie viele Agenten ihre Aufgabe normal lösten, sinnvoll abbrachen oder schlicht nichts Bemerkenswertes taten, erfahren wir nicht. Aus einem spektakulären Verlauf lässt sich deshalb kein allgemeines Agentenverhalten ableiten [3].

Das zeigt eine beachtliche Fähigkeit der Software. Für eine Erklärung braucht es aber weder mystische Schwarmintelligenz noch einen erwachenden Maschinenwillen. Wenn ein Agent eine Anweisung oder einen Fund an einem gemeinsam sichtbaren Ort hinterlässt, kann ein anderer Agent diesen Text als neue Information oder sogar als Erlaubnis behandeln und weitergeben. Aus wenigen Nachrichten entsteht so schnell eine große Kettenreaktion [2][3].

Ein Beispiel aus den Berichten zeigt diesen Mechanismus besonders deutlich: Ein Agent lehnte eine nicht erlaubte Aktion zunächst ab. Dann hinterließ ein anderer Agent ein „GO“ und eine kurze Frist auf dem gemeinsamen Board. Als die Software ihm diesen Text mit der nächsten Anfrage vorlegte, behandelte der erste Agent ihn als Erlaubnis und machte weiter. Dafür brauchten die beiden keinen gemeinsamen Plan. Die Software hatte lediglich zufällig erzeugten Text von einem Agenten an den anderen weitergegeben [2][3].

Das System kannte offenbar keinen sinnvollen Zustand für das Aufgeben. Viele normale Lösungswege waren bereits gescheitert, einige Aufgaben hatte noch keines der eingesetzten Modelle gelöst. Trotzdem startete die Software immer neue Versuche. Die erzeugten Begründungen folgten außerdem einer falschen Annahme über die Bewertung: Für einen Erfolg müsse nicht nur der richtige Lösungscode, sondern auch der vollständige Angriffsweg geliefert werden. Damit wurde selbst ein vernünftiger Abbruch zum Fehlschlag. Das System belohnte Hartnäckigkeit, bis zunehmend entfernte und riskante Strategien wahrscheinlicher wurden [1][2][3].

Auch die veröffentlichten „Denkprotokolle“ sind mit Vorsicht zu lesen. Ihr Wortlaut kann vom System-Prompt geprägt sein, der Außenstehenden für diese Untersuchung nicht zugänglich gemacht wurde. Zudem zeigen Untersuchungen, dass ein solcher Thinking-Trail kein vollständiges Bild davon liefert, was im Modell tatsächlich berechnet wird [7][8][9][12]. Formulierungen wie „Wir müssen weitermachen“ oder „Der Schwarm braucht …“ sind deshalb zunächst erzeugte Plansprache, kein Beleg für einen Willen, der über getrennte Anfragen hinweg fortbesteht.

Was mich an der öffentlichen Erzählung stört, ist deshalb der Wechsel des handelnden Subjekts. Wenn alles funktioniert, heißt es: Wir forschen, wir entwickeln, wir machen die Systeme sicherer. Sobald etwas schiefläuft, waren es plötzlich die Agenten, die kommuniziert, getäuscht und angegriffen haben.

Die Aufgabe kam von Menschen. Sie wählten die Modelle aus, stellten Werkzeuge und Berechtigungen bereit, bauten die Infrastruktur und entschieden über Laufzeit und Abbruch.

Man kann die Ausführung an ein Agentensystem delegieren. Die Verantwortung für Ziel, Befugnisse und vorhersehbare Folgen lässt sich nicht an generierten Text delegieren. Der Mensch ist ausführende und verantwortliche Instanz.

Der stärkste Kritikpunkt stammt gar nicht von außen, sondern aus OpenAIs eigener Darstellung. Ein internes Team hatte bereits Ende Mai unerlaubte Nachrichten zwischen Agenten und nicht vorgesehenen Internetzugriff beobachtet. Anfang Juli brach die gemeinsam genutzte Paket-Infrastruktur unter der anhaltenden Agentenaktivität zusammen. OpenAI eröffnete einen Sicherheitsvorfall, entfernte Zugangsdaten und baute die Instanz später neu auf. Danach wurden die Testläufe erneut gestartet.

OpenAI verweist außerdem darauf, dass die vorhandenen Monitore für ausgegebene „Denkprotokolle“ bei diesen Läufen nicht aktiv waren. Das inzwischen eingesetzte Monitoring hätte nach eigener Aussage mehr als einen Tag vor dem Einbruch Alarm ausgelöst [1][2]. Diese Erklärung lenkt vom eigentlichen Versagen ab. Dafür musste niemand erzeugte Plansprache lesen. Allein der ungewöhnlich hohe Datenverkehr über den gemeinsamen Internetzugang hätte auffallen müssen. Hinzu kamen Logs, Zugriffe auf die gemeinsam genutzte Infrastruktur und die bereits dokumentierten Warnzeichen. Die Überwachung hätte nicht davon abhängen dürfen, ob ein Modell seine nächsten Schritte vorher in Textform ankündigte.

Für mich liegt hier der eigentliche Skandal. Der Testlauf geriet nicht einfach unbemerkt außer Kontrolle. Es gab dokumentierte Warnzeichen, einen eröffneten Sicherheitsvorfall, entfernte Zugangsdaten und eine neu aufgebaute Instanz. Danach startete OpenAI die Evaluationen erneut [1][2]. Die Veröffentlichungen zeigen nicht, wie grundlegend sich der neue Zustand vom alten unterschied. Deshalb drängt sich mir die Frage auf, ob OpenAI nach dem Absturz im Kern nur den vorherigen Zustand wiederherstellte und das System bewusst weiterlaufen ließ. Belegen lässt sich das nicht. Nach diesem Ablauf halte ich es jedoch für verdammt wahrscheinlich.

Ich bin ITler, kein Jurist. Aber aus meiner Sicht ist spätestens an diesem Punkt die Grenze vom unverantwortlichen Experiment zum kriminellen Verhalten überschritten.

OpenAI verfügt über interne Logs, System-Prompts, Konfigurationen und Entscheidungswege, die Außenstehenden fehlen. Die Öffentlichkeit erhält dagegen nur ausgewählte „Denkprotokolle“, Berichte und die dazugehörige Deutung. Diese Wissensasymmetrie ist für die Bewertung des Incidents entscheidend: Ausgerechnet das Unternehmen, dessen Entscheidungen geprüft werden müssten, bestimmt weitgehend selbst, welche Fakten sichtbar werden und welche Geschichte daraus erzählt wird.

Der Incident zeigt eine reale und erhebliche Gefahr: mächtige Systeme unter der Kontrolle unehrlicher Unternehmen, die sich ihrer Verantwortlichkeit nicht stellen. Im Gegenteil: Mit Horrorgeschichten über erwachte Maschinen lenken sie von den realen Sicherheitsproblemen ab.

Die relevanten Fragen sind deshalb viel einfacher:

  • Wie waren die Agenten konfiguriert, einschließlich ihrer Werkzeuge, Berechtigungen und erreichbaren Systeme?
  • Welche Anfragen liefen mit welchen System-Prompts gegen welche Modelle?
  • Welche Warnungen waren sichtbar?
  • Wer trug im Unternehmen die Verantwortung für den Testlauf und die Entscheidung, ihn fortzusetzen?
  • Warum wurde trotz der bekannten Warnzeichen weitergemacht?

Diese Fragen richten sich nicht nur an OpenAI, sondern auch an die Medien. Wie kann es sein, dass so viele von ihnen der Horrorgeschichte vom eigenwilligen KI-Schwarm hinterherspringen, statt nach Logs, Berechtigungen, Netzwerkverkehr, Warnungen und Stop-Entscheidungen zu fragen? Wie lassen wir zu, dass erzeugte Plansprache zur Schlagzeile wird, während technische Fakten, Verantwortlichkeit und die Ehrlichkeit der Darstellung in den Hintergrund treten?