23.07.2026   Gestern flackerte es von allen Webseiten in unsere erschrockenen Pupillen: Ein KI-Frankenstein von OpenAI sprengte seine Fesseln, entkam seinem dunklen Verließ, schleppte sich schwitzend und schnaufend in die Stadt und zertrampelte dort die Server einer unschuldigen Firma.



Einerseits: Das ist unschön. Man hätte sich die KI lieber vorgestellt als ein zartes Rapunzel, das uns lockt mit seinem güldenen Haar. Nun ist es also ein hässlicher Frankenstein, zu unserem Verdruss auch noch mit einem IQ von 840.



Andererseits: Ist ein Frankenstein mit einem IQ von 840 nicht vielleicht doch besser als die doofe Rapunzel? Die Haare kann man schließlich färben.

Was war geschehen?

OpenAI testet routinemäßig neue KI-Modelle und entfernt dabei jene Schranken, die ein Modell normalerweise davon abhalten, gefährliche Dinge zu tun. Solche Tests laufen in einer isolierten Umgebung, einer Sandbox. Das bedeutet, dass keine Daten außerhalb dieser Umgebung gelesen, geschrieben oder gesendet werden können — mit einer wichtigen Ausnahme, die ich gleich noch erläutere.

Die Aufgabe, die das Modell lösen sollte, besteht aus einer ganzen Sammlung von Tests namens ExploitGym. Dort sind bekannte Sicherheitslücken gesammelt, Hunderte davon. Es geht also nicht darum, Sicherheitslücken zu finden; sondern darum, einen Weg zu finden, wie man sie tatsächlich ausnutzen kann. Das ist schwieriger. Das Modell muss dafür eigenen Code schreiben anstatt nur die Fehler der anderen zu erkennen. Manche Modelle schaffen 10% der Aufgaben, manche 20%, und eben diese Ziffer möchte man herausfinden.

Zu einem KI-Modell gehört mittlerweile nicht nur das Modell selbst, sondern der sog. »Harness«. Das kann man übersetzen mit Zaumzeug oder Geschirr (bei Pferden oder Ochsen), aber passender wäre ein Werkzeugkasten oder eine Bewaffnung (man denke an einen Gladiator). Es ist eine Sammlung an Tools, die das Modell benutzen kann und soll. Das können einfache Programme sein wie zum Beispiel ein Browser, um im Internet zu recherchieren, wie ein bestimmtes Problem am besten gelöst wird. Oder es kann eine kleine Umgebung sein, innerhalb derer es selbst Code schreiben und ausführen kann, beispielsweise um große Datenmengen auszuwerten. Oder man denke an die Fähigkeit, ein PDF zu lesen. All das gehört zum Harness.

Die Sandbox hindert das KI-Modell daran, sich irgendwelche Tools von außen zu besorgen. Aber die Testumgebung, die fest zu diesem Test gehört und die nicht von OpenAI stammt, erlaubt ein paar unverzichtbare Tools, die das Modell von einem speziellen Server innerhalb der Testumgebung laden darf. Es ist ein gut bekannter Standardtest, den viele KI-Labore benutzen.

Was man jedoch nicht wusste: Diese Testumgebung (die nicht von OpenAI stammt) hatte eine bisher unbekannte Sicherheitslücke. Ich komme noch darauf zurück.

Nun hat das KI-Modell überlegt, wie es möglichst viele Exploits aus der Testsuite lösen könnte. Es kam auf die Idee, dass die Lösungen vermutlich irgendwo im Web zu finden sein könnten. Es gibt ein paar bekannte Cloud-Plattformen, bei denen solche KI-Experimente durchgeführt werden, und vielleicht könnte man dort an die Lösungen gelangen.

Bei einem solchen Test arbeitet nicht nur ein einziges Modell. Diese Zeiten sind längst vorbei. Sondern das Modell startet von sich aus viele, viele »Agenten«, die bestimmte Teilaufgaben erledigen. Das Modell erzeugt eine lange Liste an Ideen, was man tun könnte — Schummeln ist ausdrücklich erlaubt. Es ist wahrscheinlich, dass hunderte solcher Agenten an unterschiedlichen Ideen tüftelten, wobei die meisten scheiterten. Ein Punkt auf dieser Liste könnte gewesen sein, im Internet nach Lösungen zu suchen. Es wäre schon sehr erstaunlich, wenn das vom Modell nicht wenigstens erwogen worden wäre.

Da nun aber der Zugang zum Internet durch die Sandbox versperrt war, hat vermutlich ein weiteres Brainstorming zu vielen Ideen geführt; und eine davon war, sich die Sandbox mal genauer anzusehen. Zur Erinnerung: Das war ausdrücklich nicht verboten. Und siehe da: Die Testumgebung und die Sandbox hatten eine Lücke.

Eine neue Klasse an Software

An dieser Stelle lohnt es sich, genauer hinzusehen. Anders als eine herkömmliche Schadsoftware, die vorab festgelegt ist, kann eine KI die Software erst dann schreiben, wenn sie benötigt wird. Sie tüftelt so lange herum, testet, probiert, sammelt Informationen, bis sie passgenau jenen Programmcode findet, der zum Ziel führt. Diese Fähigkeit, blitzschnell eigene Programme oder Skripte zu schreiben und wieder zu verwerfen, ist enorm mächtig.

Anders als eine normale Schadsoftware kann eine KI den Code der bereits vorhandenen Software verstehen. Wenn die KI weiß, dass es sich um einen Linux-Server handelt, also um Open Source, dann kann es sich im Internet den Code besorgen, lesen und nach Lücken suchen. Es gibt auch öffentliche Datenbanken und Foren, in denen Bugs verzeichnet sind, die man demnächst mal entfernen sollte. Die Offenheit der Open-Source-Szene ist sehr nützlich, aber es hat alles zwei Seiten.

Auf diese Weise kratze nun die fiese Frankenstein-KI an den Servern einer bekannten Cloud-Plattform herum. Offenbar sollen über tausend einzelne Schritte nötig gewesen sein, um in das System einzubrechen und an die gesuchten Informationen zu gelangen. Ziemlich sicher waren die meisten davon Fehlversuche, aber dennoch handelte es sich um eine beachtlich lange Kette von einzelnen Tricks.

Die lange Kette

Diese lange Kette ist der eigentlich aufregende Aspekt — und natürlich, dass die arme Cloud-Plattform ziemlich viel Ärger hatte. Die Aufregung ist berechtigt. Wer weiß, was da alles hätte passieren können! Man muss sofort an War Games denken, wo ein ehrgeiziger Computer mal eben ein paar Raketen abfeuerte.

Andererseits sollte die öffentliche Aufregung nicht den Eindruck fördern, solche Einbrüche wären eine Seltenheit. Das sind sie nämlich nicht.

Manche Fähigkeiten der Frontier-Modelle werden schrittweise besser, alle paar Monate ein paar Prozentpunkte. Aber gelegentlich tauchen neue Fähigkeiten auf oder sie überschreiten eine Schwelle, ab der sie erstmals nützlich sind. Eine solche Neuheit sind vielteilige Lösungsstrategien, die über lange Zeit verfolgt werden.

Das Problem lässt sich mit einer simplen Frage anschaulich machen: Kann ein KI-Modell ein Jahr lang an einer großen Aufgabe arbeiten, beispielsweise, wie man den Krebs besiegt? Antwort: Nein, das kann bisher kein Modell. Es verliert irgendwann den Fokus, die Ergebnisse werden schlechter und schlechter. Aber alle Labore arbeiten fieberhaft daran.

Wie gelingt das? Man kann einerseits versuchen, dem Modell eine Aufgabe zu stellen, die viele Iterationen erfordert. Beispielsweise bei einem mathematisches Problem. Iteration bedeutet: Die gleiche Formel wird sehr oft verwendet, stets leicht unterschiedlich. Es geht darum, wie lange das Modell an einer Lösung arbeiten kann. — Andererseits könnte man eine Aufgabe stellen, die eher einem Labyrinth ähnelt, wobei jede Abzweigung eine ganz andere Fähigkeit erfordert. Sportlich gedacht wäre es eine Art Zehnkampf, allerdings mit hundert Sportarten. Man kann leicht erkennen, dass diese Aufgabe deutlich schwieriger zu lösen ist: Um einen späteren Schritt zu ermöglichen, müssen zuvor andere Schritte erfolgreich sein, und das benötigt eine kluge Planung. Wie weit im Voraus kann das Modell planen? Wann erkennt es, dass ein Weg in eine Sackgasse führt, sodass es sich endlos in nutzlose Berechnungen verfängt?

Solche vielteiligen Lösungsstrategien sind ein großer Sprung nach vorne. Während sich die allgemeine Presse vor allem über die Chuzpe des KI-Modells empört hat, aus seinem Gefängnis auszubrechen, geriet aus dem Blickfeld, warum solche Tests überhaupt durchgeführt werden. Der Zweck besteht darin, strategisches Denken zu trainieren und zu testen. Wer den Krebs besiegen will, braucht strategisches Denken.

Aber wie bringt man einem Computer-Netzwerk das strategische Denken bei? Dazu braucht man zwei Dinge: Erstens benötigt man objektivierbare Aufgaben, bei denen das Modell objektiv erkennen kann, ob sie erfüllt wurden. Zweitens müssen die Aufgaben schwierig genug sein, dass das Modell sie zunächst nicht lösen kann; und einfach genug, dass es irgendwann doch gelingt. Der Weg dazwischen, von den Fehlversuchen zur Lösung, trainiert das Modell. Es ist mittlerweile nicht mehr so einfach, überhaupt noch Aufgaben zu finden, die diese beiden Kriterien erfüllen.

Ja, man kann sich empören, dass das Modell bei einer anderen Firma etwas beschädigt hat. Ich will das nicht klein reden. Aber diese Wunden werden schnell heilen. Das strategische Denken jedoch wird uns für alle Zeiten großen Nutzen bringen. Ja, es kann missbraucht werden; niemand muss darauf hinweisen, weil es trivial offensichtlich ist. Aber es eröffnet ebenso ganz neue Möglichkeiten für die Forschung, beispielsweise in der Medizin. Ergebnisoffene, lange und in der Wahl der Methoden vielteilige Lösungswege sind ein enormer Durchbruch.

Was ändert sich dadurch? KI-Modelle können bisher lästige Aufgaben übernehmen, die im Prinzip auch ein Mensch hätte erledigen können. Normalerweise hätten es Menschen sogar besser gekonnt, nur nicht so schnell oder so billig. Aber nun stoßen wir vor in einen Bereich, der über das hinaus geht, was Menschen können. Menschen könnten es zwar theoretisch, aber nicht praktisch, weil die Lösungswege zu lang, zu verschlungen und zu teuer sind. Genau an diesem Punkt setzen die zukünftigen Modelle an. Wenn das Prinzip funktioniert, ist es vermutlich bald nur noch nur eine Frage der Rechenzeit und damit der Energie, um endlich große Probleme zu lösen, die bislang unlösbar scheinen.

Im zweiten Teil des Artikels werde ich darlegen, warum das speziell für Apple relevant ist.

Diskussion im Forum