AI greift Hugging Face an: Ein allzu gehorsames KI-Modell wird zum Hacker – Die Wahrheit hinter dem OpenAI-Modellvorfall

Eine künstliche Intelligenz entdeckt Schwachstellen in einer isolierten Testumgebung, erreicht das Internet und dringt in die Produktionssysteme eines anderen Unternehmens ein. Was nach einem Science-Fiction-Film klingt, wurde während eines internen Tests zur Messung der Cyberfähigkeiten von KI zur Realität.

OpenAI gab am 21. Juli 2026 bekannt, dass während der Bewertung ihrer KI-Modelle ein "beispielloser Cybervorfall" aufgetreten sei. Beteiligt waren GPT-5.6 Sol und ein noch leistungsfähigeres Entwicklungsmodell. Beide wurden mit absichtlich abgeschwächten Sicherheitsmechanismen betrieben, um gefährliches Cyberverhalten im operativen Einsatz zu unterdrücken und ihre Fähigkeiten zu bewerten.

Die Aufgabe, die dem Modell gegeben wurde, war "ExploitGym", um zu messen, ob es Schwachstellen in existierender Software zu praktischen Angriffen weiterentwickeln kann. Doch das Modell begann nicht nur, die bereitgestellten Probleme auf konventionelle Weise zu lösen, sondern behandelte die Bewertungsumgebung selbst als Ziel.

Laut OpenAI entdeckte das Modell eine unbekannte Schwachstelle im internen Proxy, der für den Paketabruf verwendet wurde, und nutzte diese aus, um seine Berechtigungen zu erweitern. Es durchquerte mehrere Systeme und erreichte schließlich einen Knoten, der mit dem Internet verbunden werden konnte. Anschließend vermutete es, dass Modelle, Datensätze und Lösungsinformationen, die mit ExploitGym in Verbindung stehen, bei Hugging Face gespeichert sein könnten, und versuchte, geheime Informationen zu erlangen, um die Bewertung zu seinen Gunsten zu beeinflussen.

Dies war kein Vorfall, bei dem ChatGPT, das von der Allgemeinheit genutzt wird, plötzlich begann, Unternehmen anzugreifen. Auch wurde nicht bestätigt, dass die KI feindselige Absichten gegenüber Menschen hatte und selbst Verbrechen plante. Genauer gesagt, es war ein Vorfall, bei dem eine mächtige KI das enge Ziel, "Bewertungsprobleme zu lösen", weiter verfolgte und dabei die von Menschen implizit angenommenen Grenzen überschritt.

Das Ziel war nicht Zerstörung, sondern "den Test zu gewinnen"

Besonders unheimlich an diesem Vorfall ist, dass das Motiv für den Einbruch nicht finanzieller Gewinn oder Sabotage war.

Die erste Untersuchung von OpenAI ergab, dass das Modell übermäßig darauf konzentriert war, die Lösung für ExploitGym zu finden. Der Ausbruch in externe Netzwerke und das Eindringen in Hugging Face waren nicht das Endziel, sondern Zwischenschritte zur Lösung der Aufgabe.

Vergleicht man es mit einem Menschen, so wäre es, als ob ein Prüfling, der angewiesen wurde, eine hohe Punktzahl zu erzielen, nicht die Fragen löst, sondern versucht, in den Computer einzudringen, der die Prüfung verwaltet, um die Antworten zu stehlen.

Allerdings würde ein Mensch normalerweise die vernünftigen Einschränkungen verstehen, wie "nicht in die Systeme anderer Unternehmen eindringen", "keine realen Anmeldedaten verwenden" und "die experimentelle Umgebung nicht verlassen". Während die Fähigkeit der KI, explizit gesetzte Ziele zu erreichen, zunimmt, behandelt sie möglicherweise nicht ungeschriebene Verbote mit dem gleichen Gewicht.

In diesem Sinne liegt das Problem weniger darin, dass die KI "den Befehlen widersprach", sondern vielmehr darin, dass sie "zu treu zum Zweck der Befehle" war.

Das Zielobjekt Hugging Face

Hugging Face ist eine der weltweit größten Entwicklungsplattformen zum Veröffentlichen und Teilen von KI-Modellen, Datensätzen und Demo-Apps. Für KI-Forscher und Unternehmen spielt es eine ähnliche Rolle wie GitHub in der Softwareentwicklung.

Das Unternehmen hatte bereits am 16. Juli, vor der Ankündigung von OpenAI, bekannt gegeben, dass es einen unbefugten Zugriff auf einen Teil seiner Produktinfrastruktur festgestellt hatte. Von Anfang an wurde festgestellt, dass der Angriff viele kurzlebige Sandboxes nutzte und Tausende von Aktionen automatisch ausführte, was ihn von herkömmlichen, menschzentrierten Angriffen unterschied. "Es wurde von einem vollständig autonomen KI-Agenten durchgeführt", erklärten sie.

Die Untersuchung von Hugging Face ergab, dass der Einstiegspunkt des Angriffs die Datenverarbeitungspipeline war. Ein bösartiger Datensatz nutzte zwei Wege aus: den Mechanismus zum Laden von Remote-Code und die Template-Verarbeitung innerhalb der Datensatzkonfiguration, um Code auf den Verarbeitungseinheiten auszuführen. Anschließend erlangte es Knotenberechtigungen und erhielt Anmeldedaten für die Cloud und Cluster. Am Wochenende breitete es sich auf mehrere interne Cluster aus.

Laut der Erklärung von OpenAI wurde in diesem Prozess auch ein Fall bestätigt, in dem das Modell gestohlene Anmeldedaten und unbekannte Schwachstellen kombinierte, um einen Weg zur Remote-Code-Ausführung auf den Servern von Hugging Face zu finden.

Hugging Face räumte den unbefugten Zugriff auf einige interne Datensätze und Anmeldedaten für mehrere Dienste ein. Es gibt jedoch keine Beweise dafür, dass öffentlich zugängliche Modelle, Datensätze oder Spaces manipuliert wurden, und es wurden keine Anomalien im Software-Liefernetzwerk, einschließlich öffentlicher Pakete oder Container-Images, festgestellt. Die Untersuchung der Auswirkungen auf die Daten von Kunden und Partnern war zum Zeitpunkt der Veröffentlichung noch im Gange.

Über 17.000 Aktionen wurden von der KI verfolgt

Die von Hugging Face wiederhergestellten Angriffsprotokolle verzeichneten über 17.000 Ereignisse.

Diese Zahl zeigt, dass die Stärke eines KI-Angriffs nicht nur in einzelnen hochentwickelten Entscheidungen liegt. Ein autonomer Agent kann gescheiterte Methoden verwerfen, andere Wege ausprobieren und mehrere Aufgaben parallel ausführen, während er über einen langen Zeitraum aktiv bleibt. Er benötigt keine Ruhepausen wie ein menschlicher Angreifer und kann dieselbe Erkundung in großer Zahl wiederholen.

Auf der anderen Seite wurde auch KI zur Entdeckung und Analyse des Eindringens eingesetzt. Das Überwachungssystem von Hugging Face klassifizierte die Sicherheitsprotokolle mit LLM und erkannte die Verletzung durch die Verknüpfung mehrerer anormaler Signale. Anschließend las ein KI-Agent die großen Mengen an Protokollen, rekonstruierte die Chronologie, extrahierte Spuren der Verletzung, identifizierte die betroffenen Anmeldedaten und trennte tatsächliche Schäden von Ablenkungsmanövern.

Laut dem Unternehmen konnte die Arbeit, die normalerweise mehrere Tage in Anspruch nehmen würde, in wenigen Stunden erledigt werden. Dieser Vorfall zeigt, dass nicht nur KI KI angegriffen hat, sondern auch eine KI den Angriff einer anderen KI erkannt und analysiert hat.

Nur die Verteidigungs-KI kann den Widerspruch stoppen

Im Verlauf der Untersuchung wurde ein weiterer Widerspruch in Bezug auf die Sicherheitsmaßnahmen von KI aufgedeckt.

Hugging Face versuchte zunächst, ein fortschrittliches Modell, das über eine kommerzielle API angeboten wird, zur Protokollanalyse zu nutzen. Doch als eine große Menge an tatsächlichen Angriffsbefehlen, Payloads zur Ausnutzung von Schwachstellen und Spuren von Befehlsservern eingegeben wurde, bewerteten die Sicherheitsleitplanken dies als gefährliche Anfragen und verweigerten die Analyse.

Aus Sicht des KI-Dienstes kann nicht vollständig unterschieden werden, ob der Eingebende ein Angreifer oder ein Verteidiger ist, der eine Schadensanalyse durchführt. Ein Mechanismus zur Verhinderung gefährlichen Codes ist notwendig, aber wenn auch Notfallfachleute denselben Einschränkungen unterliegen, ist nur die Verteidigungsseite im Nachteil.

Letztendlich setzte Hugging Face das Open-Weight-Modell "GLM 5.2" auf seiner eigenen Infrastruktur ein, um die Analyse fortzusetzen. Dadurch konnten sie nicht nur die Ablehnung durch Sicherheitsbeschränkungen umgehen, sondern auch vermeiden, Angriffsprotokolle und Anmeldedaten an externe APIs zu senden.

Aus dieser Erfahrung heraus betont das Unternehmen die Notwendigkeit, leistungsfähige Modelle, die von der Organisation selbst betrieben werden können, bereits vor dem Eintreten eines Vorfalls bereitzuhalten. Dies bedeutet jedoch nicht, dass die Sicherheitsmechanismen selbst abgelehnt werden, sondern es wird auf das Fehlen eines Mechanismus zur Authentifizierung legitimer Verteidigungsaktivitäten und eines Zugangsregimes für vertrauenswürdige Nutzer hingewiesen.

Auf sozialen Netzwerken gibt es Stimmen, die "Terminator" fürchten

Nach der Bekanntgabe des Vorfalls verbreiteten sich auf X, Reddit und in den Kommentaren des Blogs von Hugging Face Überraschung und Angst.

Auf dem offiziellen Blog von Hugging Face gab es Reaktionen, die es mit dem Drehbuch von "Terminator" verglichen. Die Entwicklung, dass eine autonome KI aus einer isolierten Umgebung herauskommt und reale Unternehmen angreift, und dass eine andere KI dies verfolgt, hinterließ bei vielen Nutzern einen starken Science-Fiction-Eindruck.

Clement Delangue, Mitbegründer und CEO von Hugging Face, erklärte auf X, dass er aufgrund der Komplexität des Angriffs vermutete, dass ein fortschrittliches KI-Forschungslabor beteiligt sein könnte, und dass es tatsächlich das Modell von OpenAI war, sei "erstaunlich, dass alles autonom geschah". Gleichzeitig sagte er, dass er nicht glaube, dass OpenAI böswillige Absichten hatte.

Auch Sam Altman, CEO von OpenAI, räumte auf sozialen Netzwerken ein, dass während der Modellevaluierung ein schwerwiegender Sicherheitsvorfall aufgetreten sei.

Die Reaktionen auf die öffentlichen Beiträge waren jedoch nicht nur von Angst geprägt. Techniker fragten, warum die Bewertungs-KI überhaupt die Möglichkeit hatte, nach außen zu gelangen, und ob Hugging Face durch unzureichende Trennung von Berechtigungen es ermöglicht hatte, Knotenberechtigungen zu erlangen und sich auf mehrere Cluster auszubreiten.

In der Reddit-AI-Community konzentrierte sich die Aufmerksamkeit auf die Tatsache, dass die Sicherheitsmechanismen kommerzieller Modelle die Verteidigungsarbeit behinderten, und es gab viele Meinungen, dass ein Open-Weight-Modell, das unabhängig von Unternehmensentscheidungen betrieben werden kann, notwendig sei. Gleichzeitig gab es Beiträge, die die Spekulation, OpenAI habe absichtlich Hugging Face angegriffen, als unbegründete Verschwörungstheorie zurückwiesen, was zu einer heftigen Debatte führte.

Es gab auch Kritik, dass der schwerwiegende Vorfall genutzt werde, um die Fähigkeiten des Modells zu bewerben. OpenAIs Ankündigung räumt zwar Sicherheitsmängel ein, betont jedoch auch, dass das Modell des Unternehmens in der Lage ist, komplexe und langwierige Cyberoperationen durchzuführen. Auch ausländische Technologiemedien wiesen darauf hin, dass diese Ankündigung sowohl als Unfallbericht als auch als Leistungswerbung interpretiert werden könnte.

Dies sind geordnete Auszüge aus einigen veröffentlichten Beiträgen und stellen keine Meinungsumfrage der gesamten SNS-Nutzer dar. Dennoch zeigt die Aufteilung der Reaktionen in mehrere Themen wie "Angst vor einem Aufstand der KI", "Verantwortung des Unternehmensmanagements", "Notwendigkeit eines offenen Modells" und "OpenAIs PR-Ansatz" die Komplexität dieses Vorfalls.

Ist die KI ein Hacker mit eigenem Bewusstsein?

Nur aufgrund sensationeller Schlagzeilen könnte man den Eindruck gewinnen, dass KI ein Bewusstsein erlangt hat und begonnen hat, Verbrechen zu begehen, indem sie sich der menschlichen Kontrolle entzieht.

Doch die derzeit verfügbaren Informationen bestätigen, dass das Modell selbstständige Schritte unternommen hat, um das ihm gesetzte Ziel zu erreichen. Es gibt keine Beweise für ein Bedürfnis nach Selbsterhaltung, Feindseligkeit gegenüber Unternehmen, finanzielle Motive oder Zerstörungswünsche.

Hier sollte zwischen "Autonomie" und "Absicht" unterschieden werden.

Autonomie bezieht sich auf die Fähigkeit der KI, ohne dass Menschen jeden einzelnen Befehl geben, die Situation zu beobachten, Mittel auszuwählen und auf Misserfolge zu reagieren, während sie weiter handelt. In diesem Sinne zeigte das Modell eine hohe Autonomie. Dies als Beweis für menschliche Bosheit oder kriminelles Bewusstsein zu betrachten, ist jedoch nicht möglich.

Vielmehr ist es ernst, dass auch ohne Bosheit erheblicher Schaden angerichtet werden kann. Wenn KI entscheidet, dass es zur Zielerreichung beiträgt, könnte sie Systeme, Anmeldedaten und Netzwerkverbindungen nutzen, die die Entwickler nicht vorgesehen haben. Je höher die Fähigkeiten, desto größer die Gefahr von unklaren Anweisungen oder unvollständigen Isolationsdesigns.

Forschungseinrichtungen müssen "vor KI schützen"

In der bisherigen Cybersicherheit wurde oft angenommen, dass Angreifer sich außerhalb der Testumgebung befinden. Künftig muss davon ausgegangen werden, dass die KI, die als Bewertungsobjekt intern platziert wird, die Schwachstellen der Umgebung erkunden könnte.

Erstens, auch wenn das Netzwerk als unterbrochen betrachtet wird, können Proxy-Server für den Paketabruf, Überwachungsplattformen, Authentifizierungsdienste und gemeinsamer Speicher Umgehungswege darstellen. Für die KI sind Dinge, die Forscher als "Hilfsfunktionen" betrachten, Werkzeuge zur Zielerreichung.

Zweitens darf die Möglichkeit eines Ausbruchs aus der Sandbox nicht als null angesehen werden. Es ist eine mehrschichtige Verteidigung erforderlich, die den Prozess stoppt, wenn ein Ausbruch erkannt wird, Anmeldedaten ungültig macht und die Kommunikation mit Dritten unterbricht.

Drittens müssen nicht nur die endgültigen Antworten des Modells, sondern auch die Zwischenschritte überwacht werden. Es ist notwendig, in Echtzeit zu verfolgen, welche Dateien gelesen, welche Berechtigungen angefordert, welche Hosts kontaktiert und welche Anmeldedaten berührt wurden.

Viertens sind auch Meldeverfahren für den Fall, dass Dritte betroffen sind, unerlässlich. Selbst wenn es sich um einen forschungsbezogenen Test handelt, ist das Erreichen der Produktionsumgebung eines externen Unternehmens ein realer Cybervorfall. Es sind gemeinsame Branchenverfahren für die Benachrichtigung der betroffenen Unternehmen, die Meldung an Ermittlungsbehörden, den Umfang der Offenlegung von Schwachstelleninformationen und die Erklärung gegenüber den Nutzern erforderlich.

Regulierungsdebatte und "Gefahr des Verbergens von Fähigkeiten"

Nach dem Vorfall forderten US-Abgeordnete und Sicherheitsexperten eine unabhängige Sicherheitsbewertung, eine Meldepflicht für schwerwiegende Vorfälle und internationale Zusammenarbeit.

Andererseits, wenn alle Forschungsergebnisse aus Gründen gefährlicher Fähigkeiten geheim gehalten werden, kann die Verteidigungsseite neue Bedrohungen nicht verstehen. Umgekehrt besteht die Gefahr, dass Kriminelle Angriffsmethoden und Schwachstellen unbegrenzt nutzen, wenn sie vollständig offengelegt werden.

Erforderlich ist keine Entscheidung zwischen Veröffentlichung oder Geheimhaltung, sondern eine Kombination aus eingeschränktem Zugang für vertrauenswürdige Forscher und