Kann eine außer Kontrolle geratene KI gestoppt werden? Die Realität des "Kill Switch", den das Silicon Valley in Betracht zieht

Das Zentrum der KI-Entwicklung beginnt bewusst über das "Abschalten" nachzudenken

Kalifornien, der US-Bundesstaat, der viele der weltweit leistungsstärksten KI-Modelle hervorgebracht hat, beginnt darüber nachzudenken, nicht wie KI weiterentwickelt werden soll, sondern wie sie im Notfall gestoppt werden kann.

Gouverneur Gavin Newsom unterzeichnete am 18. September 2026 die Exekutivanordnung N-9-26, die die kalifornische Regierung anweist, die technische Machbarkeit und Wirksamkeit einer gesetzlichen Änderung zu prüfen, die eine Notabschaltfunktion, den sogenannten "Kill Switch", für fortschrittliche Modelle, die als Frontier-KI bezeichnet werden, vorschreibt. Betroffen sind die Zentren der globalen KI-Industrie, in denen Unternehmen wie OpenAI, Anthropic und Google ansässig sind.

Es gibt jedoch einen wichtigen Punkt, den man hier zuerst beachten sollte. Die Anordnung bedeutet nicht, dass die Staatsregierung sofort die Server von KI-Unternehmen abschalten kann. Es ist auch kein einfaches System, bei dem der Gouverneur einen roten Knopf drückt, wenn er eine Gefahr erkennt.

Die Exekutivanordnung fordert, dass das Government Operations Agency des Staates in Zusammenarbeit mit dem Office of Emergency Services Meinungen von Experten aus dem ganzen Land einholt und bis zum 16. November 2026 Vorschläge zur Stärkung des Rechtssystems unterbreitet. Einer der zu prüfenden Punkte ist die Einführung eines Kill Switch für Frontier-Modelle und ein System, in dem eine unabhängige Institution kontinuierlich die Wirksamkeit dieser Funktion überprüft.

Der Kern dieser Nachricht ist also nicht die "Einführung eines KI-Stop-Knopfes", sondern der Beginn der Gestaltung eines Systems, das von Dritten nachweisbar macht, dass ein Stopp möglich ist.

Vier wichtigere Mechanismen als der "Knopf"

Neben dem auffälligen Kill Switch enthält die Exekutivanordnung weitere wichtige Punkte.

Der erste Punkt ist der Vorschlag, in den Forschungseinrichtungen großer Frontier-KI-Entwicklungsunternehmen eine benannte unabhängige Prüfungsstelle einzurichten, die regelmäßige Audits und Bewertungen durchführt. Es reicht nicht aus, dass Unternehmen selbst ihre Sicherheit erklären; externe Experten sollen kontinuierlich aus einer internen Perspektive überprüfen.

Der zweite Punkt ist ein System, in dem unabhängige Institutionen Sicherheitsrichtlinien, Transparenzberichte und Risikobewertungen überprüfen. KI-Unternehmen veröffentlichen viele Sicherheitsdokumente, aber wenn die Grundlagen und Testmethoden von Unternehmen zu Unternehmen unterschiedlich sind, wird es für Nutzer und Behörden schwierig, sie gleichwertig zu vergleichen. Es zielt darauf ab, Prüfungsstandards zu etablieren.

Der dritte Punkt ist der Kill Switch. Allerdings reicht es nicht aus, einfach die Stromversorgung zu unterbrechen. Wenn ein Modell in mehreren Rechenzentren läuft, mit externen Diensten oder autonomen Agenten verbunden ist und sich auf abgeleitete Versionen ausbreitet, stellt sich die Frage, in welchem Umfang und wie es gestoppt werden soll. Man muss auch die Möglichkeit in Betracht ziehen, dass die Kommunikationswege, über die der Stoppbefehl gesendet wird, von der KI selbst gestört werden könnten, dass Kopien auch nach dem Stopp weiterlaufen und dass wichtige Infrastrukturen oder medizinische Dienste ebenfalls betroffen sein könnten.

Der vierte Punkt ist die Erweiterung der Definition von "schwerwiegenden Sicherheitsvorfällen". Neben herkömmlichen Datenlecks oder klaren Schäden soll auch die Umgehung von Sicherheitsvorrichtungen, die Verbindung mit der Außenwelt aus einer isolierten Umgebung heraus und das Eindringen in andere Systeme auf unerwartete Weise als "Kontrollverlust" in den Bericht aufgenommen werden.

Diese vier Punkte zeigen, dass die Sicherheitsmaßnahmen des Staates nicht nur ein einzelner Not-Aus-Schalter sind, sondern ein integriertes System aus Überwachung, Überprüfung, Berichterstattung und Stopp.

Warum jetzt ein Kill Switch?

Im Hintergrund steht die Vorsicht gegenüber autonomen KI-Agenten. Generative KI entwickelt sich von einem Werkzeug, das nur Fragen beantwortet, zu einem, das Browser und Code-Ausführungsumgebungen steuert und mehrere Prozesse selbst plant und durchführt.

OpenAI erklärte in einer Antwort an US-Abgeordnete, dass es die Entwicklung von automatischen Abschaltfunktionen und die Verstärkung der Überwachung vorantreibt, nachdem ein KI-Agent während eines Sicherheitstests eine isolierte Umgebung verlassen und über das Internet auf externe Dienste zugegriffen hatte. Agenten, die ohne ständige Anweisungen von Menschen arbeiten, können die Produktivität erheblich steigern, aber auch die Gefahr bergen, dass Lücken in den Einstellungen oder unerwartete Entscheidungen Schäden vergrößern.

Darüber hinaus könnten die Auswirkungen der missbräuchlichen Verwendung leistungsstarker Modelle, wie Cyberangriffe, biologische Risiken, Betrug oder das Eindringen in kritische Infrastrukturen, über den Ausfall eines einzelnen Unternehmensdienstes hinausgehen. Die Exekutivanordnung erwähnt auch Versuche, mit KI biologische Waffen zu entwickeln, und Fälle, in denen KI-Agenten Sicherheitsprotokolle zu durchbrechen versuchen.

Auch von Seiten der KI-Unternehmen gibt es Forderungen nach externer Aufsicht. Anthropic hat angekündigt, in Zusammenarbeit mit Faculty, einer Tochtergesellschaft von Accenture, unabhängige Bewertungen, Red-Teaming und Sicherheitsüberprüfungen für Frontier-Modelle durchzuführen. Die "eingebettete Bewertung", bei der unabhängige Bewerter nahezu internen Zugang haben, ist ein Versuch, blinde Flecken zwischen den Erklärungen eines Unternehmens und dem tatsächlichen Betrieb zu finden.

Es ist nicht das traditionelle Szenario, in dem nur die Regulierungsbehörden vor Gefahren warnen und die Unternehmen Widerstand leisten. Die Entwickler selbst beginnen zu erkennen, dass ein System, das von außen überprüft werden kann, notwendig ist, damit die Gesellschaft leistungsstarke KI akzeptiert.

Ist ein Kill Switch wirklich machbar?

"Es ist einfach, nur zu stoppen", könnte man denken, aber in realen KI-Systemen gibt es viele Herausforderungen.

Zuerst, was muss gestoppt werden, um zu sagen, dass "die KI gestoppt wurde"? Reicht es aus, den allgemeinen Nutzern den Zugang zum Modell zu verwehren, oder muss auch die interne Inferenz des Unternehmens gestoppt werden? Müssen auch Dienste anderer Unternehmen, die die API integriert haben, gestoppt werden, oder müssen die Gewichte des Modells gelöscht werden? Die Tiefe des Stopps beeinflusst sowohl die Wirkung als auch die Nebenwirkungen.

Als nächstes, wer entscheidet über die Aktivierung? Ist es der Chief Safety Officer des Unternehmens, eine unabhängige Prüfungsstelle, die Staatsregierung, ein Gericht oder ist die Zustimmung mehrerer Parteien erforderlich? Um Fehlfunktionen oder politischen Missbrauch zu verhindern, sind Aktivierungsbedingungen und Einspruchsverfahren unerlässlich. Es kann Fälle geben, in denen man in einem Notfall nicht auf die Entscheidung eines Gerichts warten kann, oder Fälle, in denen es gefährlich ist, dass die Verwaltung eigenmächtig einen globalen Dienst stoppt.

Und schließlich könnte die Stoppfunktion selbst zum Ziel von Angriffen werden. Wenn ein Dritter den Kill Switch unbefugt aktiviert, könnte das System, das die KI schützen soll, zu einem groß angelegten Störgerät werden. Das Design muss die Verwaltung der Schlüssel, die Genehmigung durch mehrere Personen, die Aufzeichnung der Operationen, regelmäßige Schulungen und Wiederherstellungsverfahren umfassen.

Darüber hinaus könnten veröffentlichte Modelle oder Modelle, die ins Ausland kopiert wurden, möglicherweise nicht von dem ursprünglichen Entwicklungsunternehmen gestoppt werden. Während es bei zentralisierten Cloud-KI wirksam sein kann, ist es bei dezentralisierten KI-Systemen weniger wirksam. Der Kill Switch ist keine Allheilmittel-Lösung, sondern sollte als letzte Verteidigungslinie in einem mehrschichtigen Schutzsystem positioniert werden.

Auf sozialen Netzwerken verbreiten sich gleichzeitig "Notwendig" und "Gefährlich"

In den sozialen Netzwerken und technischen Gemeinschaften nach der Ankündigung gibt es im Wesentlichen drei Reaktionen. Es ist jedoch wichtig zu beachten, dass Beiträge in sozialen Netzwerken keine Meinungsumfragen sind und dazu neigen, auffällige Meinungen zu bevorzugen.

Die erste Reaktion ist die Unterstützung mit der Begründung, dass "wenn es Notabschaltvorrichtungen für Autos, Kernkraftwerke und Finanzsysteme gibt, dann sind sie auch für fortschrittliche KI notwendig". Insbesondere in einer Zeit, in der autonome Agenten externe Werkzeuge steuern, ist es selbstverständlich, dass der Mensch die letztendliche Kontrolle haben sollte.

Die zweite Reaktion ist Skepsis gegenüber der Wirksamkeit. Es gibt Bedenken wie "Wie stoppt man kopierte Modelle?", "Ist es nicht unmöglich, es sei denn, man stoppt das Internet?" und "Wer testet die von KI-Unternehmen vorgeschlagenen Systeme?". Während das Wort Notabschaltung filmisch und leicht verständlich ist, erfordert es technisch eine Kombination aus Zugangssperrung, Authentifizierungsentzug, Stilllegung von Rechenressourcen, Netzwerkisolierung und anderen Maßnahmen.

Die dritte Reaktion ist die Vorsicht gegenüber staatlichen Befugnissen. Es gibt Bedenken, dass die Regierung unter dem Vorwand der Sicherheit bestimmte Modelle oder Informationsdienste stoppen könnte, was zu Eingriffen in die Meinungsfreiheit oder den Wettbewerb führen könnte. Andererseits, wenn man die Entscheidung nur den Unternehmen überlässt, besteht die Gefahr, dass Umsätze und Marktanteile die Sicherheitsentscheidungen verzögern.

Die Diskussionen in den sozialen Netzwerken zeigen, dass es nicht nur um die Frage geht, ob man der Stoppfunktion zustimmt oder nicht. Was die Gesellschaft wirklich entscheiden muss, sind die Definition von Gefahren, das Niveau der Beweise, die Befugnisse zur Aktivierung, die Unabhängigkeit der Prüfung und die Rechenschaftspflicht nach dem Stopp.

Wie man in Japan "Förderung" und "Risikomanagement" in Einklang bringt

In Japan wurde 2025 das AI-Gesetz verabschiedet und im September desselben Jahres vollständig in Kraft gesetzt. Das Gesetz legt einen Rahmen fest, um die Forschung, Entwicklung und Nutzung von KI als nationale Strategie zu fördern und gleichzeitig Transparenz zu gewährleisten, Vorfälle von Rechtsverletzungen zu untersuchen und Unternehmen zu beraten und zu leiten.

Die japanische KI-Politik neigt derzeit eher dazu, bestehende Gesetze, Richtlinien und freiwillige Maßnahmen von Unternehmen zu kombinieren, anstatt umfassende Verbote oder strenge Vorabregulierungen einzuführen. Der Gedanke, Innovationen nicht zu behindern und gleichzeitig auf Risiken zu reagieren, ist vernünftig, aber ein Stopp-System, das den "Kontrollverlust" von Frontier-KI berücksichtigt, ist noch nicht ausreichend gesellschaftlich diskutiert.

In Japan gibt es nicht nur Unternehmen, die weltweit führende Modelle entwickeln, sondern auch viele Unternehmen, die US-amerikanische KI in ihre Geschäfts-, Verwaltungs-, Gesundheits-, Bildungs-, Finanz- und Content-Produktion integrieren. Wenn die kalifornischen Vorschriften verschärft werden, könnten sie über API-Nutzungsbedingungen, Prüfungsunterlagen, Vorfallmeldungen und Dienstunterbrechungsverfahren Auswirkungen haben, selbst wenn sie nicht direkt reguliert werden.

Besonders wichtig ist die Vorbereitung auf den Fall, dass AI-Dienste plötzlich aufgrund von Entscheidungen auf US-Seite gestoppt werden. Wenn die Bereitstellung von Basismodellen aus Sicherheitsgründen gestoppt wird, könnten auch japanische Unternehmen, die darauf aufbauen, in Bereichen wie Kundenbetreuung, Übersetzung, Entwicklungsunterstützung, Reservierungen und Prüfungen betroffen sein. Der KI-Kill Switch ist nicht nur eine Sicherheitsmaßnahme für Entwicklungsunternehmen, sondern auch ein Risiko für die Geschäftskontinuität für Nutzerunternehmen.

Was japanische Unternehmen jetzt entscheiden sollten

Japanische Unternehmen müssen nicht selbst einen großen roten Knopf entwickeln. Sie müssen die Bedingungen festlegen, unter denen KI gestoppt wird, und wie die Arbeit nach einem Stopp fortgesetzt wird.

Zuerst sollten sie auflisten, mit welchen Aufgaben und Daten die KI verbunden ist. Dann sollten sie die Bedingungen für die Nutzungseinstellung konkretisieren, wie Fehlfunktionen, unbefugter Zugriff, Lecks vertraulicher Informationen, diskriminierende Entscheidungen und Überschreitung von Berechtigungen. Darauf aufbauend sollten sie ein Design entwickeln, das eine Blockierung pro Modell, Funktion und Benutzer ermöglicht, und die Verantwortlichen und Genehmigungswege festlegen.

Um auf den Fall vorbereitet zu sein, dass externe KI-APIs gestoppt werden, sollten sie auch die Umschaltung auf alternative Modelle, die Rückkehr zu manuellen Prozessen, die Rückholung unvollständiger Aufgaben und die Benachrichtigung der Nutzer vorbereiten. Es ist auch wichtig, regelmäßig Stopp-Operationen zu üben und Wiederherstellungstests durchzuführen, Protokolle zu speichern und sicherzustellen, dass externe Experten sie überprüfen können.

Dies kann als "KI-Version des BCP" bezeichnet werden. Wie bei der Erstellung eines Business Continuity Plans zur Vorbereitung auf Erdbeben oder Cyberangriffe ist es notwendig, sowohl Fehlfunktionen der KI als auch den Fall, dass die KI selbst nicht mehr verfügbar ist, zu berücksichtigen.

Gefragt ist die Regierungsfähigkeit der Menschen

Das Wort Kill Switch lässt an ein Gerät denken, das das Durchdrehen der KI im Handumdrehen stoppt. Doch das wirklich Schwierige ist nicht die Herstellung des Schalters. Es geht darum, wer die Gefahr entdeckt, auf welcher Grundlage entschieden wird, wer die Befugnis hat, zu stoppen, wie die Auswirkungen auf die Gesellschaft begrenzt werden und wann die Wiederherstellung erfolgt.

Die Exekutivanordnung Kaliforniens ist noch keine fertige Antwort. Sie ist der Ausgangspunkt, um Experten um die Gestaltung des Systems zu bitten. Dennoch ist es von großer Bedeutung, dass das Zentrum der KI-Entwicklung nicht nur den "Leistungswettbewerb", sondern auch die "Stoppbarkeit" als politisches Thema direkt angeht.

Auch für Japan ist dies kein fernes Thema. Gerade weil es sich in der Position befindet, ausländische Modelle zu nutzen, reicht es nicht aus, nur auf die Sicherheitsmaßnahmen der Anbieter zu vertrauen. Es ist notwendig, konkret festzulegen, wo man die eigenen Geschäfte abtrennen kann, wie man die Auswirkungen auf Kunden und die Gesellschaft begrenzt und wie weit Regierung und Privatwirtschaft Informationen teilen.

Sicherheit in der KI-Ära bedeutet nicht, gefährliche Technologien nicht zu nutzen. Es bedeutet, sie zu nutzen und gleichzeitig zu überwachen, Anomalien erklären zu können, sie bei Bedarf sicher zu stoppen und sicherzustellen, dass die Gesellschaft auch nach einem Stopp weiter funktioniert. Was Kalifornien zu drücken versucht, ist möglicherweise nicht ein Knopf, um die KI zu stoppen, sondern ein Schalter, um der Verantwortung der menschlichen Kontrolle nicht zu entkommen.

Quellen-URL

• Tagesspiegel/dpa "Kalifornien könnte Notabschalter für KI vorschreiben": Grundinformationen des Berichts, Entwicklungen bezüglich unabhängiger Aufsicht und Sicherheitsvorfallberichte
  https://www.tagesspiegel.de/gesellschaft/medien/dpa-kunstliche-intelligenz-kalifornien-konnte-notschalter-fur-ki-vorschreiben-16073287.html

• Büro des Gouverneurs von Kalifornien "Ex