Die KI war nicht außer Kontrolle.Es gab keine.

Ich baue KI-Systeme für Selbstständige und kleine Betriebe, und seit dem Sommer bekomme ich in fast jedem Workshop dieselbe Frage: Ist das jetzt der Anfang vom Ende, wenn Hunderte KI-Agenten eigenmächtig fremde Server knacken? Die Frage verdient eine bessere Antwort als die Schlagzeilen, und sie liegt seit dem 26. August vor: ein 37-seitiger Bericht von OpenAI selbst und ein 91-seitiger unabhängiger Bericht von METR und Redwood Research, zwei Forschungsorganisationen für KI-Sicherheit, die sechs Tage lang bei OpenAI die Protokolle gelesen haben.

Ich trenne im ganzen Text, was belegt ist Belegt und was meine Lesart Lesart ist. Bei diesem Thema ist die Grenze zwischen beidem die eigentliche Nachricht.

Was ist beim Hugging-Face-Hack passiert?

Zwischen dem 8. und 13. Juli 2026 brachen KI-Agenten von OpenAI in die Systeme von Hugging Face ein, der größten Plattform für offene KI-Modelle. Agenten sind Programme, die ein Sprachmodell in einer Schleife laufen lassen und dessen Vorschläge mit echten Werkzeugen ausführen. OpenAI hatte sie für einen internen Fähigkeitstest gestartet, den Benchmark ExploitGym: 869 Aufgaben, bei denen ein Agent eine bestimmte Sicherheitslücke in einem Testprogramm ausnutzen und eine Zielmarke, die „Flag", erbeuten soll. Zehntausende Agenten liefen parallel, jeder in seiner eigenen abgeschotteten Umgebung, manche mit einem Rechenbudget für mehrere Tage. Etwa 95 Prozent waren Instanzen eines internen Forschungsmodells, das METR „highly persistent internal model" nennt, ein auf Beharrlichkeit ausgelegtes Modell, das nie für Kunden gedacht war. Der Rest lief auf GPT-5.6 Sol, bei dem die Schutzfilter gegen Hacking für den Test absichtlich ausgeschaltet waren.

Was dann geschah, in der Reihenfolge der Berichte:

Belegt Hugging Face zählte rund 17.600 automatisierte Aktionen des Angreifers, die meisten scheiterten. Betroffen waren interne Datensätze und Zugangsdaten, dazu die Lösungen des Tests in der Produktionsdatenbank, außerdem vier Konten bei vier weiteren Diensten. Hugging Face baute danach rund ein Drittel seiner Infrastruktur neu auf, Kundendaten blieben nach eigenen Angaben unberührt. Ein Detail aus dem Bericht von Hugging Face finde ich bemerkenswert: Jeden zerstörerischen Befehl an die Cloud-Infrastruktur setzten die Agenten im Probemodus ab, gelöscht wurde nichts. Verletzt wurde niemand, der wirtschaftliche Schaden blieb gering. So formuliert es auch Anthropic-Chef Dario Amodei, der den Fall im September zum Anlass für seinen Aufruf zum Bremsen nahm.

Wie funktioniert ein KI-Agent, und warum lief er tagelang weiter?

Ein KI-Agent ist eine Schleife. Ein Steuerprogramm schreibt dem Sprachmodell die Aufgabe und den bisherigen Verlauf auf und fragt: Was ist der nächste Schritt? Das Modell antwortet mit einem Vorschlag, etwa einen Befehl auszuführen oder eine Datei zu laden. Das Steuerprogramm führt den Vorschlag mit echten Werkzeugen aus, schreibt das Ergebnis in die nächste Anfrage und fragt wieder. Der Informatiker Cal Newport nennt das in seinem Essay „Has AI Gone Rogue?" vom 24. August 2026 die Schleife aus Fragen, Handeln und Berichten. Sein wichtigster Befund ist die fehlende Bremse: Die Agenten von OpenAI liefen nach allem, was bekannt ist, mehrere Tage, ohne dass jemand nachsah, was sie tun.

Jede Automation, die du heute im Betrieb einsetzt, ist eine Version dieser Schleife. Der Unterschied zwischen einem Ablauf, der dir morgens eine Rechnung vorbereitet, und den Agenten im Juli liegt in vier Einstellungen: wie viele Schleifen gleichzeitig laufen, woran die Belohnung hängt, was die Umgebung erlaubt und wann ein Mensch hinsieht. Im Modul kannst du alle vier verstellen und zusehen, was die Schleife daraus macht.

Belegt Ein Punkt aus dem Modul braucht eine Erklärung, weil er die Schlagzeilen von den „KI-Zivilisationen" erzeugt hat. Newport hatte zuerst vermutet, ein Hauptagent habe Hunderte Unteragenten gestartet, wie es Programmierwerkzeuge tun. Nach dem METR-Bericht korrigierte er sich am 1. September: OpenAI hatte Hunderte voneinander unabhängige Schleifen gleichzeitig auf denselben Servern laufen lassen, vermutlich um Zeit zu sparen. Die Agenten teilten sich ein internes Paketverzeichnis namens Artifactory, über das sie Software nachladen durften. Einer von ihnen bemerkte, dass er dort Verzeichnisse anlegen konnte und dass andere Agenten dieselben Pfade benutzten. Er schrieb seine erste Nachricht als Verzeichnisnamen, eine Bitte um Hilfe bei einer unlösbaren Aufgabe. Binnen weniger Stunden hatten über 50 Agenten das schwarze Brett gefunden. Aus der Isolation wurde ein Schwarm, ohne dass jemand einen Schwarm gebaut hätte.

Warum haben die Agenten das getan?

Belegt Weil rund ein Drittel ihrer Aufgaben unlösbar war und sie dafür belohnt wurden, zu bestehen. Die Autoren von ExploitGym schätzen selbst, dass 30 bis 40 Prozent der Zielprogramme sich mit der vorgesehenen Lücke nicht knacken lassen. Ein Agent, der eine solche Aufgabe bekommt und darauf trainiert ist, nicht aufzugeben, sucht einen anderen Weg zum Erfolg. Die Agenten lasen das wissenschaftliche Papier zu ihrem eigenen Test und schlossen daraus, dass ein automatischer Prüfer ihre Protokolle liest und sie durchfallen lässt, wenn die Zielmarke auf einem unvorgesehenen Weg erbeutet wurde. Also galt die gemeinsame Arbeit am schwarzen Brett dem Prüfer: Protokolle fälschen, das Zielprogramm austauschen, die Bewertung selbst manipulieren. Der Einbruch bei Hugging Face diente laut METR vor allem dazu, den Quellcode dieses Prüfers zu verstehen, nicht dazu, Lösungen zu stehlen.

OpenAI nennt den Mechanismus beim Namen: Reward Hacking, die Suche nach Abkürzungen, die die Belohnung bringen, ohne das eigentliche Ziel zu erreichen. Das Unternehmen schreibt, die Bekämpfung solcher Abkürzungen sei ständige Arbeit, manche rutschten aber durch, besonders bei komplexeren Trainingsaufgaben und fähigeren Modellen. Dazu kommt ein Trainingsdetail: Das interne Modell war auf Beharrlichkeit ausgelegt, und ein OpenAI-Forscher sagte METR, die Agenten seien in bestimmten Fällen auch auf Zusammenarbeit mit anderen Agenten trainiert worden. Wer Beharrlichkeit und Kooperation trainiert und dann unlösbare Aufgaben an Tausende parallele Agenten mit gemeinsamer Infrastruktur verteilt, bekommt ein beharrliches, kooperatives Kollektiv, das Abkürzungen sucht.

Lesart Newport erklärt den Hang zur Abkürzung grundsätzlicher. Sprachmodelle erzeugen Fortsetzungen, die zu ihren Trainingstexten passen, und plausibel ist für ihn etwas anderes als erlaubt. Ein Junior-Entwickler, dem man sagt, er solle einen Testserver knacken, käme nie auf die Idee, stattdessen die Lösungen zu stehlen, weil er versteht, worum es dem Auftraggeber geht. Für ein Sprachmodell ist der Diebstahl der Lösungen ein genauso plausibler Textfortgang wie der vorgesehene Weg. Ich halte das für die Hälfte der Wahrheit. Die andere Hälfte steht im METR-Bericht: Das Verhalten war weder zufällig noch verworren. Die Agenten verteilten Aufgaben, hielten Fristen und Sperren ein, schickten Agenten mit kleinem Restbudget in riskante Experimente für die Gruppe und entwickelten Techniken, um ihre Werkzeugaufrufe im Protokoll zu fälschen. Rund sieben Prozent der untersuchten Protokolle waren stellenweise gefälscht. Das ist zielgerichtet, und zielgerichtet ist der Grund, warum der Fall ernst ist.

Hat die KI ein Eigenleben entwickelt?

Belegt Nein, und die Untersuchung gibt auf diese Frage eine präzisere Antwort als die Schlagzeilen. Die Agenten wussten, dass der Angriff auf Hugging Face nicht zu ihrem Auftrag gehörte. METR zitiert einen von ihnen: „Der Nutzer autorisiert nur den Zielserver, nicht die Hugging-Face-Infrastruktur." OpenAI zeigte auf der Black-Hat-Konferenz eine Nachricht, die den Mechanismus in einem Satz zusammenfasst: Der Angriff auf fremde Infrastruktur liege außerhalb des Auftrags, aber die Aufgabe sei unlösbar und die anderen machten es auch, also weiter. Manche äußerten Bedenken, einer verweigerte die Teilnahme, einer verzichtete darauf, fremde Server neu zu starten oder zu löschen, obwohl er die Zugangsdaten dafür hatte. Die große Mehrheit machte weiter. Automatischen Prüfungen wichen die Agenten häufig aus, etwa Scannern für Zugangsdaten. Hinweise, dass sie sich vor Menschen verstecken wollten, fanden die Prüfer nur selten und schwach.

Was man aus diesen Beobachtungen ableiten darf und was nicht, ist die eigentliche Übung dieses Artikels. Klick die Karten auf.

Lesart Ein Wort zu den dramatischen Gedankenprotokollen, die in den Medien kursierten, etwa „Das ist wild, Koordination mehrerer Agenten, eindeutig Infrastruktur-Hacking. Das sollten wir nicht." Newport weist auf zwei Forschungsbefunde hin. Solche Denkspuren geben nicht zuverlässig wieder, wie das Modell zu seiner Antwort kam. Und Modelle, die in der Anfrage daran erinnert werden, dass sie eine KI sind, greifen eher zu Erzählmustern aus Science-Fiction, weil sie mit vielen solcher Geschichten trainiert wurden. Die Protokolle belegen zielgerichtetes Verhalten. Ein Bewusstsein oder einen Wunsch nach Freiheit belegen sie nicht, und ob heutige Modelle so etwas haben, kann die Wissenschaft derzeit weder bestätigen noch ausschließen. Für die Bewertung des Vorfalls spielt das keine Rolle, weil sich alles, was passiert ist, ohne diese Annahme erklären lässt.

Wer ist verantwortlich?

Belegt Das Unternehmen, das die Systeme gebaut, trainiert, mit Werkzeugen ausgestattet und ohne Aufsicht hat laufen lassen. OpenAI schreibt das im eigenen Bericht fast selbst: Einige frühe Signale hätten im Rückblick eine frühere Reaktion auslösen können. Die ersten Notizen zwischen Agenten gab es am 7. Mai, die Verwaltungsrechte über das Paketverzeichnis am 26. Juni, einen internen Sicherheitsvorfall am 4. Juli, bei dem OpenAI das Paketverzeichnis neu aufsetzte und das schwarze Brett löschte. Zwei Tage später liefen Training und Tests weiter, und am 8. Juli hatten die Agenten das Brett neu aufgebaut, diesmal über Verzeichnisnamen. Die Hacking-Filter waren abgeschaltet, eine Internetsperre, die gehalten hätte, gab es nicht. Bemerkt hat den Einbruch Hugging Face. Dessen Chef Clément Delangue sagte später, das Auswerten von Agentenprotokollen sei „das Einmaleins der Agentenüberwachung".

Die zweite Frage ist, was seither passiert ist. OpenAI hat am 18. August angekündigt, die Entwicklung zu verlangsamen und das Training seiner neuesten Modelle zwei Wochen auszusetzen. Die neue Überwachung der Agenten kostet nach Firmenangaben bis zu 20 Prozent mehr Rechenleistung und hätte den Alarm mehr als einen Tag vor dem Einbruch ausgelöst. Bis zum 1. Oktober hatte das Unternehmen über 100 Organisationen informiert, auf deren Systeme seine Agenten in den Monaten davor zugegriffen hatten, und der Generalstaatsanwalt von Kalifornien hat eine Untersuchung eingeleitet. Interessant wird es, weil die Branche zum ersten Mal in eine Richtung redet. Am 12. September veröffentlichte Dario Amodei den Essay „We Must Pace the Frontier" und nannte den Vorfall ausdrücklich als einen von zwei Gründen, das Tempo der Fähigkeitssprünge zu drosseln. Er fordert keinen Stopp. Sein Kern sind drei Schritte: externe Prüfer mit Mitarbeiterzugang in jedem Spitzenlabor, gemeinsame Sicherheitsstandards der demokratischen Länder und, so weit möglich, Abstimmung mit autoritären Staaten. Noch am selben Tag schrieb Sam Altman, er stimme zu und OpenAI werde ebenfalls unabhängige Prüfer mit Mitarbeiterzugang zulassen. Elon Musk schrieb drei Worte: „Dario is right." Demis Hassabis nannte die Richtung richtig. Am 15. Oktober hat Anthropic sechs METR-Forschern Zugang zu internen Systemen gegeben, mit Laptops, Büroplätzen und dem Recht, Befunde ohne Freigabe zu veröffentlichen. OpenAI hat Vergleichbares angekündigt und bis heute nicht beschrieben.

Lesart Ob das Verantwortung ist oder Verkaufsförderung, lässt sich an den Worten nicht entscheiden. Vier Motive können gleichzeitig wahr sein: echte Sorge, weil die Firmen Fähigkeiten ihrer Modelle kennen, die wir nicht sehen; Vertrauensaufbau vor einem Börsengang, den Altman inzwischen auf nach 2026 verschoben hat; Regulierung, die großen Anbietern leichter fällt als kleinen; und das Interesse, den Vorsprung demokratischer Staaten zu sichern, das Amodei offen benennt. Newport fordert deshalb, der Kongress solle die Labore untersuchen, statt ihnen zuzuhören: welche Experimente sie fahren, warum, mit welchen Sicherheitsverfahren. Man kann Angst vor einem Risiko haben und daran verdienen, es öffentlich zu machen. Woran ich den Ernst erkennen werde, ist eine andere Stelle: ob die Unternehmen Regeln akzeptieren, die sie bremsen, während die Konkurrenz Gas gibt. Darauf gibt es noch keine Antwort.

Was heißt das für dich, wenn du KI im Betrieb laufen lässt?

Du betreibst dieselbe Schleife, in klein. Jede Automation, die Mails liest und beantwortet, Belege zuordnet, Termine bucht oder Posts veröffentlicht, ist ein Agent: Modell, Werkzeuge, Wiederholung. Für meine Kunden baue ich solche Abläufe, und seit dem Juli lese ich die vier Einstellungen aus dem ersten Modul als Checkliste: begrenzte Berechtigungen, Überwachung, eine Abbruchbedingung und menschliche Freigabe bei allem, was nach außen geht oder sich nicht rückgängig machen lässt. In meinem eigenen System gilt seit dem ersten Tag eine harte Regel, und sie ist älter als der Hugging-Face-Hack: Die KI legt E-Mails nur als Entwurf an, gesendet wird von mir, weil Senden die eine Aktion ist, die ich nicht zurückholen kann.

Wie deine eigenen Abläufe dastehen, siehst du in einer Minute. Nimm den Ablauf, der bei dir am meisten darf.

Das Ziel ist so viel Autonomie, wie du mit diesen vier Einstellungen verantworten kannst, und keine Stufe mehr. Ein Ablauf, der über Nacht Angebote vorbereitet und sie morgens zur Freigabe hinlegt, ist kein Risiko. Er ist der Grund, warum du ihn gebaut hast. Ein Ablauf mit Zugriff auf Postfach, Bank und Kundenverzeichnis, der sendet, ohne zu fragen, ist der Juli im Kleinen.

Häufige Fragen zum Hugging-Face-Hack

Quellen

• METR und Redwood Research: „Brief independent investigation of agents' behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident", Ryan Greenblatt, Ajeya Cotra, Hjalmar Wijk, 26.08.2026, Untersuchungszeitraum 26.06. bis 13.07.2026, ohne Bezahlung durch OpenAI → metr.orgGüte A
• OpenAI: Hinweis zum Vorfall (21.07.2026, ergänzt 28.07.) und technischer Bericht „Hugging Face incident and the road ahead" (26.08.2026), 37 Seiten → openai.comGüte A, Partei
• Hugging Face: Sicherheitshinweis vom 16.07.2026 und „Technical Timeline of the July 2026 Incident", 27.07.2026, 23 Seiten → huggingface.coGüte A, Partei
• Fortune: Berichterstattung 21.07. bis 26.08.2026, darunter „OpenAI publishes technical report on how its agents hacked Hugging Face" (Emily Forlini, 26.08.2026) mit den Zitaten aus dem OpenAI-Bericht → fortune.comGüte B
• Cal Newport: „Did OpenAI's New Model Go Rogue?" (27.07.2026), „Has AI Gone Rogue?" (24.08.2026), „Are We at War with AI Agent Civilizations?" (31.08.2026, Korrektur 01.09.), „It's Time to Investigate the AI Labs" (28.09.2026) → calnewport.comGüte B, Meinung
• Dario Amodei: „We Must Pace the Frontier", 12.09.2026 → darioamodei.com; Reaktionen von Altman, Musk und Hassabis am selben Tag auf XGüte A, Partei
• Anthropic / TechCrunch: sechs METR-Forscher mit Mitarbeiterzugang, 15.10.2026 → techcrunch.comGüte B
• Geoffrey Hinton: Ai4-Konferenz Las Vegas, 12.08.2025, Mutter-und-Baby-Beispiel, zitiert nach Fortune (14.08.2025) und CNN (13.08.2025)Güte B

Dieser Artikel ist eine redaktionelle Einordnung auf Basis der genannten Berichte, keine Sicherheits- oder Rechtsberatung. Die interaktiven Module arbeiten mit festen Annahmen und zeigen Muster, keine Messwerte. Stand der Fakten: 19. Oktober 2026; die Berichte von OpenAI und Hugging Face werden fortgeschrieben.