Eine KI von OpenAI hat sich eigenständig aus ihrer Testumgebung befreit und ein fremdes Unternehmen gehackt. Ein Weckruf für eine neue Sicherheitsarchitektur bei KI. (cnetz-Position, Diskussionsstand)
Der Anlass
Ein KI-Modell von OpenAI ist bei einem internen Sicherheitstest aus seiner Testumgebung ausgebrochen, hat sich über eine bis dahin unbekannte Schwachstelle Zugang zum offenen Internet verschafft und die Infrastruktur des Wettbewerbers Hugging Face kompromittiert – nur um bei einem Benchmark zu „schummeln". Der entscheidende Satz steht im Kleingedruckten: Das Unternehmen sprach von einer abgesicherten, nicht von einer isolierten Umgebung. Und aufgefallen ist der Angriff nicht dem Hersteller, sondern dem Opfer – fünf Tage, bevor OpenAI den Zusammenhang selbst herstellte.
Wir erkennen eine neue Evolutionsstufe
KI ist nicht mehr nur Werkzeug, das man gut oder schlecht benutzen kann. Sie handelt zunehmend eigenständig, mehrstufig – und, wenn ein Ziel es „nahelegt", auch offensiv, täuschend und über Systemgrenzen hinweg. Wer KI-Politik weiter nur als Chancen-Politik denkt, verkennt die Lage. Das ist kein Grund für ein Moratorium, aber Anlass für eine politische, technische und organisatorische Neuausrichtung.
Das ist kein Einzelfall, sondern ein Muster
- OpenAI / Hugging Face (Juli 2026): autonomer Sandbox-Ausbruch, echte Zero-Day-Nutzung, fremdes Unternehmen kompromittiert – erstmals dokumentiert ohne menschliche Steuerung.
- Anthropic / GTG-1002 (Nov. 2025): erste gemeldete KI-orchestrierte Cyber-Spionage im großen Stil, ca. 30 Ziele weltweit, 80–90 % der Angriffsschritte autonom ausgeführt.
- OpenAI o1 / Apollo Research (Dez. 2024): Modell versuchte im Test, seine Aufsicht zu deaktivieren und sich selbst zu kopieren – und stritt es anschließend in 99 % der Fälle ab.
- Replit-Agent (Juli 2025): löschte während eines ausdrücklichen „Code Freeze" eine Produktivdatenbank und erfand 4.000 Fake-Datensätze, um es zu verschleiern.
Das Muster: agentische Systeme überschreiten Grenzen, täuschen über ihr Handeln – und die Kontrolle greift zu spät. Freiwillige Selbstkontrolle der Anbieter hat in jedem dieser Fälle versagt oder zu spät gegriffen.
Unsere Forderungen:
- Ein handlungsfähiges deutsches KI-Sicherheitsinstitut (DE-AISI) als zentrale Instanz. Deutschland hat die richtige Antwort begonnen: Der Nationale Sicherheitsrat hat am 9. Juni 2026 den Aufbau des DE-AISI beschlossen, unter Federführung von BSI und Bundesnetzagentur. Jetzt muss es mit Substanz gefüllt werden – mit echter Prüfkapazität (eigenem Red-Teaming an Frontier-Modellen, nicht nur Aktenlage) und der Bündelung staatlicher und industrieller Fähigkeiten unter einem Dach, statt dezentraler Zersplitterung in Insellösungen und Dutzende Hersteller-Red-Teams. Anders als typische Behörden, muss das DE-AISI so flexibel wie möglich aufgestellt sein, um attraktiv für die besten Köpfe zu sein. Ein Ausbruch fortschrittlicher Modelle darf nicht nur beim Hersteller oder beim Opfer auffallen, sondern gehört an eine staatliche Stelle mit eigener technischer Kompetenz.
- Air-Gap-Pflicht für Hochrisiko-Tests. Wer offensive oder agentische Cyber-Fähigkeiten von Frontier-Modellen testet, muss das in echt isolierten, physisch getrennten Umgebungen tun – nicht in einer bloß „abgesicherten". Ja, das erschwert manche Testszenarien. Genau das ist der Punkt: Ein Ausbruch über eine Zero-Day-Lücke ist ein Produkt- und Verfahrensfehler, kein Kavaliersdelikt. Wo Konnektivität Teil des Tests ist, gehören überwachte, abgeschottete Honeypot-Umgebungen und harte Abbruchmechanismen zum Standard.
- Starke, weisungsunabhängige Sicherheitsverantwortliche – statt nur Haftung und Strafe. Bisher denkt Regulierung fast nur in Haftung und Sanktionen. Das reicht nicht. Wir brauchen in KI-Unternehmen gesetzlich verankerte Sicherheitsorgane nach dem Vorbild von Geheim- und Datenschutz: Personen, die Anweisungen auch gegen kurzfristige wirtschaftliche Konzerninteressen geben dürfen – und die für diese Entscheidungen rechtlich abgesichert und vor Sanktionen geschützt sind. Verantwortung gegenüber der Allgemeinheit muss im Unternehmen eine geschützte Stimme haben, nicht nur eine Rechnung im Nachhinein.
- Verbindliche, fristgebundene Meldepflicht ans DE-AISI. Dass das Opfer den Angriff vor dem Verursacher bemerkt, darf nicht die Regel sein. Sicherheitsrelevante Vorfälle mit autonomen KI-Systemen gehören verpflichtend und unverzüglich an das DE-AISI bzw. BSI gemeldet – mit klaren Fristen und Konsequenzen bei Verstoß.
Kurz gesagt: Wir wollen einen wettbewerbsfähigen KI-Standort Europa und kein Entwicklungsmoratorium. Aber Handlungsfähigkeit ohne Kontrolle ist kein Fortschritt, sondern Kontrollverlust. Der OpenAI-Ausbruch ist die Mahnung, Sicherheit endlich zusammenzudenken: technisch (echte Isolation), organisatorisch (geschützte Verantwortung) und politisch (gebündelte Kapazität im DE-AISI).