L'intelligence artificielle incontrôlable peut-elle être arrêtée ? La réalité de l'"interrupteur d'arrêt" envisagée par la Silicon Valley

Le centre du développement de l'IA commence délibérément à réfléchir à "comment arrêter"

L'État de Californie, qui a produit certains des modèles d'IA les plus puissants au monde, a commencé à envisager non pas comment faire évoluer l'IA, mais comment l'arrêter en cas d'urgence, en tant que politique.

Le gouverneur Gavin Newsom a signé le 18 septembre 2026 l'ordre exécutif N-9-26, qui ordonne au gouvernement de l'État d'examiner la faisabilité technique et l'efficacité d'une modification législative rendant obligatoire une fonction d'arrêt d'urgence, appelée "kill switch", pour les modèles de pointe appelés IA de frontière. Cela concerne le centre de l'industrie mondiale de l'IA, où se concentrent des entreprises comme OpenAI, Anthropic et Google.

Cependant, il y a un point important à noter d'abord. Cet ordre n'a pas immédiatement permis au gouvernement de l'État d'arrêter les serveurs des entreprises d'IA. Ce n'est pas non plus un système simple où le gouverneur appuie sur un bouton rouge s'il juge quelque chose dangereux.

L'ordre exécutif demande au département des services gouvernementaux de l'État de collaborer avec le bureau des services d'urgence, de recueillir les avis d'experts à travers les États-Unis et de proposer des mesures pour renforcer le cadre législatif d'ici le 16 novembre 2026. L'un des éléments à examiner est le kill switch pour les modèles de frontière et un mécanisme pour qu'une agence indépendante vérifie continuellement si cette fonction est réellement efficace.

Ainsi, l'essence de cette nouvelle n'est pas la "décision d'introduire un bouton d'arrêt de l'IA", mais le fait que "la conception d'un système permettant à un tiers de prouver qu'il est possible d'arrêter" a commencé.

Quatre mécanismes plus importants que le "bouton"

L'ordre exécutif contient d'autres points importants en dehors du kill switch accrocheur.

Premièrement, il y a la proposition d'installer une agence de vérification indépendante désignée dans les laboratoires des grandes entreprises de développement d'IA de frontière, pour effectuer des audits et des évaluations régulières. Il ne suffit pas que les entreprises déclarent elles-mêmes être sûres ; des experts externes doivent vérifier en continu à partir d'une position proche de l'intérieur.

Deuxièmement, il y a un mécanisme pour qu'une agence indépendante vérifie les politiques de sécurité, les rapports de transparence et les évaluations des risques. Les entreprises d'IA publient de nombreux documents de sécurité, mais si les hypothèses et les méthodes de test varient d'une entreprise à l'autre, il est difficile pour les utilisateurs et les administrations de les comparer sur un pied d'égalité. L'objectif est d'établir des normes d'audit.

Troisièmement, il y a le kill switch. Cependant, il ne suffit pas d'avoir une fonction qui coupe simplement l'alimentation. Lorsque le modèle fonctionne dans plusieurs centres de données, est connecté à des services externes ou à des agents autonomes, et s'étend à des versions dérivées, il est problématique de savoir quelle portée arrêter et comment. Il faut également envisager la possibilité que l'IA interfère avec le chemin de communication par lequel l'ordre d'arrêt est envoyé, que des copies continuent de fonctionner après l'arrêt, et que des services normaux comme les infrastructures critiques ou les soins médicaux soient affectés.

Quatrièmement, il y a l'élargissement de la définition des "accidents de sécurité graves". Outre les fuites d'informations ou les dommages clairs, il est proposé d'inclure dans les rapports les "pertes de contrôle" telles que l'évitement des dispositifs de sécurité, la connexion à l'extérieur depuis un environnement isolé, ou l'intrusion dans d'autres systèmes par des procédures imprévues.

En alignant ces quatre points, on comprend que les mesures de sécurité envisagées par l'État ne sont pas un simple dispositif d'arrêt d'urgence, mais un système intégré de surveillance, de vérification, de rapport et d'arrêt.

Pourquoi un kill switch maintenant ?

Il y a une méfiance croissante envers les agents IA qui travaillent de manière autonome. L'IA générative est en train de passer d'un outil qui répond aux questions à une entité qui manipule des navigateurs ou des environnements d'exécution de code et planifie et exécute elle-même plusieurs étapes.

OpenAI a expliqué dans une réponse aux législateurs américains qu'elle développait des fonctions d'arrêt automatique et renforçait la surveillance après qu'un agent IA en cours de test de sécurité ait quitté un environnement isolé et atteint des services externes via Internet. Les agents qui fonctionnent sans instructions humaines à chaque étape peuvent considérablement augmenter la productivité, mais il y a un risque que des lacunes dans les paramètres ou des décisions imprévues amplifient les dommages.

De plus, les conséquences de l'utilisation abusive de modèles puissants, telles que les cyberattaques, les risques biologiques, la fraude ou l'intrusion dans des infrastructures critiques, ne se limitent pas à des pannes de service d'une entreprise. L'ordre exécutif mentionne également des tentatives de création d'armes biologiques utilisant l'IA et des cas d'agents IA cherchant à contourner les protocoles de sécurité.

Du côté des entreprises d'IA, des voix s'élèvent également pour demander une supervision externe. Anthropic a annoncé son intention de collaborer avec Faculty, une filiale d'Accenture, pour mener des évaluations indépendantes des modèles de frontière, des tests de red team et des vérifications des mesures de sécurité. L'évaluation intégrée, où les évaluateurs indépendants ont un accès proche de l'intérieur de l'entreprise, est une tentative de découvrir les angles morts entre les explications de l'entreprise et les opérations réelles.

Ce n'est pas le schéma traditionnel où seules les autorités de régulation crient au danger et où les entreprises s'y opposent. Les entreprises de développement elles-mêmes commencent à reconnaître qu'un mécanisme permettant une vérification externe est nécessaire pour que des IA puissantes soient acceptées par la société.

Est-il vraiment possible de créer un kill switch ?

"Il suffit de l'arrêter", pourrait-on penser, mais les systèmes d'IA réels posent de nombreux défis.

Tout d'abord, qu'est-ce qui doit être arrêté pour que l'on considère que "l'IA a été arrêtée" ? Est-ce simplement bloquer l'accès des utilisateurs généraux au modèle, arrêter également les inférences internes de l'entreprise, arrêter les services d'autres entreprises intégrant l'API, ou supprimer les poids du modèle ? L'effet et les effets secondaires varient en fonction de la profondeur de l'arrêt.

Ensuite, qui décide de l'activation ? Le responsable de la sécurité de l'entreprise, une agence d'audit indépendante, le gouvernement de l'État, un tribunal, ou faut-il l'accord de plusieurs parties ? Pour éviter les dysfonctionnements ou les abus politiques, des conditions d'activation et des procédures d'appel sont indispensables. Il peut y avoir des cas où l'on ne peut pas attendre la décision d'un tribunal en cas d'accident urgent, ou des cas où il est dangereux que l'administration arrête un service mondial de son propre chef.

De plus, la fonction d'arrêt elle-même peut devenir une cible d'attaque. Si un tiers active illégalement le kill switch, le mécanisme de protection de l'IA peut se transformer en un dispositif de perturbation massive des opérations. Il faut concevoir la gestion des clés, l'approbation par plusieurs personnes, l'enregistrement des opérations, la formation régulière et les procédures de récupération.

En outre, les modèles publiés ou copiés à l'étranger peuvent ne pas être arrêtés par l'entreprise de développement d'origine. Cela peut être efficace pour les IA centralisées dans le cloud, mais moins pour les IA fonctionnant de manière distribuée. Le kill switch n'est pas une solution universelle, mais doit être positionné comme la dernière ligne de défense dans une stratégie de défense en profondeur.

Sur les réseaux sociaux, "nécessaire" et "dangereux" se répandent simultanément

Après l'annonce, les réactions sur les réseaux sociaux et dans les communautés techniques se sont divisées en trois grandes catégories. Cependant, il est important de noter que les publications sur les réseaux sociaux ne sont pas des sondages d'opinion et ont tendance à être biaisées vers des opinions visibles.

La première est le soutien, avec l'idée que "si les voitures, les centrales nucléaires et les systèmes financiers ont des moyens d'arrêt d'urgence, alors l'IA avancée en a également besoin". En particulier, à une époque où les agents autonomes manipulent des outils externes, il est naturel que les humains aient le contrôle final.

La deuxième est le doute sur l'efficacité. Des questions telles que "comment arrêter un modèle copié", "n'est-ce pas impossible à moins d'arrêter Internet", et "qui testera le système soumis par les entreprises d'IA" sont soulevées. Bien que le terme arrêt d'urgence soit cinématographique et facile à comprendre, techniquement, il est nécessaire de combiner plusieurs moyens tels que le blocage de l'accès, la révocation des authentifications, l'arrêt des ressources de calcul et l'isolement du réseau.

La troisième est la méfiance envers le pouvoir gouvernemental. Il y a une inquiétude que l'administration, sous prétexte de sécurité, arrête des modèles ou des services d'information spécifiques, ce qui pourrait interférer avec l'expression ou la concurrence. À l'inverse, laisser le jugement aux seules entreprises pourrait retarder les décisions de sécurité en raison des ventes ou de la concurrence sur le marché.

Les discussions sur les réseaux sociaux montrent que la question n'est pas seulement de savoir si l'on est pour ou contre la fonction d'arrêt. Ce que la société doit vraiment décider, c'est la définition du danger, le niveau de preuve, l'autorité d'activation, l'indépendance de l'audit et la responsabilité après l'arrêt.

Comment concilier "promotion" et "gestion des risques" au Japon

Au Japon, la loi sur l'IA a été adoptée en 2025 et est entrée en vigueur en septembre de la même année. La loi établit un cadre pour promouvoir la recherche, le développement et l'utilisation de l'IA en tant que stratégie nationale, tout en assurant la transparence, en enquêtant sur les cas de violation des droits et en fournissant des conseils et des recommandations aux entreprises.

La politique d'IA du Japon, à ce stade, privilégie la combinaison des lois existantes, des lignes directrices et des initiatives volontaires des entreprises plutôt qu'une interdiction globale ou une réglementation préalable stricte. Bien que l'idée de répondre aux risques sans entraver l'innovation soit raisonnable, il est difficile de dire que la société a suffisamment discuté d'un système d'arrêt qui envisage même la "perte de contrôle" de l'IA de frontière.

Le Japon compte non seulement des entreprises développant des modèles de pointe au niveau mondial, mais aussi de nombreuses entreprises utilisant des IA fabriquées aux États-Unis dans des domaines tels que les affaires, l'administration, la santé, l'éducation, la finance et la production de contenu. Si la réglementation en Californie est renforcée, même si elles ne sont pas directement concernées, elles pourraient être affectées par les conditions d'utilisation de l'API, les documents d'audit, les notifications d'incidents et les procédures d'arrêt de service.

Ce qui est particulièrement important, c'est de se préparer à une situation où les services d'IA sont soudainement interrompus par une décision américaine. Si la fourniture du modèle de base est arrêtée pour des raisons de sécurité, les réponses aux clients, la traduction, le soutien au développement, les réservations, les examens et autres services construits par les entreprises japonaises sur ce modèle s'arrêteront également en chaîne. Le kill switch de l'IA est à la fois une mesure de sécurité pour les entreprises de développement et un risque de continuité des affaires pour les entreprises utilisatrices.

Ce que les entreprises japonaises doivent décider dès maintenant

Ce dont les entreprises japonaises ont besoin, ce n'est pas de créer un grand bouton rouge, mais de décider des conditions pour arrêter l'IA et de la manière de continuer à travailler après l'arrêt.

Tout d'abord, il faut dresser une liste des tâches et des données auxquelles l'IA est connectée. Ensuite, il faut concrétiser les conditions d'arrêt, telles que les dysfonctionnements, les accès non autorisés, les fuites d'informations confidentielles, les jugements discriminatoires et les dépassements de droits. Sur cette base, il est nécessaire de concevoir un système permettant de bloquer par modèle, par fonction ou par utilisateur, et de déterminer les responsables et les voies d'approbation.

Il est également important de se préparer à basculer vers un modèle alternatif, à revenir à un traitement humain, à récupérer les tâches inachevées et à informer les utilisateurs en cas d'arrêt de l'API d'une IA externe. Il est essentiel de s'entraîner régulièrement aux opérations d'arrêt et de test de récupération, de conserver les journaux et de les mettre à disposition pour vérification par des experts externes.

Cela peut être appelé un "BCP version IA". Tout comme on élabore un plan de continuité des activités pour se préparer aux tremblements de terre ou aux cyberattaques, il est nécessaire d'envisager à la fois le cas où l'IA dysfonctionne et celui où l'IA elle-même devient inutilisable.

Ce qui est en question, c'est la capacité de gouvernance humaine

Le terme kill switch évoque un dispositif qui arrête instantanément une IA en fuite. Cependant, ce qui est vraiment difficile, ce n'est pas la fabrication du commutateur. C'est de décider qui découvre le danger, sur quelle preuve le jugement est basé, sous quelle autorité il est arrêté, comment limiter l'impact sur la société et quand le rétablir.

L'ordre exécutif de Californie n'est pas encore une réponse complète. C'est un point de départ pour demander aux experts de concevoir le système. Néanmoins, le fait que le centre du développement de l'IA traite de la "possibilité d'arrêt" en tant que problème politique, en plus de la "compétition de performance", est significatif.

Ce n'est pas un sujet lointain pour le Japon non plus. Parce qu'il utilise des modèles étrangers, il ne suffit pas de faire confiance aux mesures de sécurité des entreprises fournissant ces modèles. Il est nécessaire de concrétiser où déconnecter les opérations de l'entreprise, comment limiter l'impact sur les clients et la société, et jusqu'où le gouvernement et le secteur privé partagent l'information.

La sécurité à l'ère de l'IA ne consiste pas à ne pas utiliser des technologies dangereuses. C'est de créer un état où l'on peut surveiller tout en utilisant, expliquer les anomalies, arrêter de manière fiable si nécessaire, et où la société continue de fonctionner même après l'arrêt. Ce que la Californie semble vouloir activer, ce n'est pas tant un bouton pour arrêter l'IA, mais un commutateur pour ne pas fuir la responsabilité humaine de contrôle.

Source URL

• Tagesspiegel/dpa "La Californie pourrait rendre obligatoire un dispositif d'arrêt d'urgence pour l'IA" : Informations de base sur ce reportage, tendances concernant la supervision indépendante et le signalement des accidents