¿Se puede detener una IA descontrolada? La realidad del "interruptor de emergencia" que Silicon Valley está considerando

2026年09月19日
¿Se puede detener una IA descontrolada? La realidad del "interruptor de emergencia" que Silicon Valley está considerando

El centro del desarrollo de IA comienza a considerar cómo "detenerla"

El estado de California, que ha producido muchos de los modelos de IA más poderosos del mundo, ha comenzado a considerar no cómo evolucionar la IA, sino cómo detenerla en caso de emergencia como una política.

La orden ejecutiva N-9-26, firmada por el gobernador Gavin Newsom el 18 de septiembre de 2026, instruye al gobierno estatal a considerar la viabilidad técnica y la efectividad de enmendar la ley para exigir una función de parada de emergencia, conocida como "interruptor de apagado", para los modelos de vanguardia llamados IA Frontera. Los objetivos son el centro de la industria de IA mundial, donde se concentran empresas como OpenAI, Anthropic y Google.

Sin embargo, hay un punto que debemos aclarar primero. Esta orden no significa que el gobierno estatal pueda detener inmediatamente los servidores de las empresas de IA. Tampoco es un sistema simple donde el gobernador presiona un botón rojo si se considera peligroso.

La orden ejecutiva requiere que el Departamento de Servicios Generales del estado colabore con la Oficina de Servicios de Emergencia, recopile opiniones de expertos de todo el país y proponga medidas para fortalecer el marco legal antes del 16 de noviembre de 2026. Uno de los elementos a considerar es el interruptor de apagado para los modelos de frontera y un sistema donde una entidad independiente verifique continuamente si esta función es realmente efectiva.

Por lo tanto, la esencia de esta noticia no es la "decisión de introducir un botón de apagado de IA", sino que "ha comenzado el diseño de un sistema que puede ser probado por terceros para detenerlo".


Cuatro mecanismos más importantes que el "botón"

La orden ejecutiva incluye otros elementos importantes además del llamativo interruptor de apagado.

El primero es la propuesta de establecer una entidad de verificación independiente designada en los laboratorios de las grandes empresas de desarrollo de IA Frontera para realizar auditorías y evaluaciones periódicas. No basta con que las empresas declaren por sí mismas que son seguras; los expertos externos deben verificar continuamente desde una posición cercana al interior.

El segundo es un sistema donde una entidad independiente verifique las políticas de seguridad, los informes de transparencia y las evaluaciones de riesgos. Las empresas de IA publican muchos documentos de seguridad, pero si los supuestos y métodos de prueba varían entre empresas, es difícil para los usuarios y la administración compararlos de manera uniforme. El objetivo es establecer estándares de auditoría.

El tercero es el interruptor de apagado. Sin embargo, no basta con una función que simplemente apague la energía. Cuando un modelo opera en múltiples centros de datos, se conecta a servicios externos o agentes autónomos, y se extiende a versiones derivadas, surge el problema de qué alcance detener y cómo hacerlo. Debemos considerar la posibilidad de que la IA interfiera con la ruta de comunicación que lleva la orden de detención, que las copias continúen funcionando incluso después de la detención, y que servicios normales como infraestructura crítica o atención médica se vean afectados.

El cuarto es ampliar la definición de "incidente de seguridad grave". Se ha indicado la dirección de incluir como sujetos de informe no solo las filtraciones de información o daños claros, sino también la "pérdida de control", como evitar dispositivos de seguridad, conectarse al exterior desde un entorno aislado o infiltrarse en otros sistemas mediante procedimientos no previstos.

Al considerar estos cuatro puntos, queda claro que las medidas de seguridad que el estado contempla no son un solo dispositivo de parada de emergencia, sino un sistema integrado de monitoreo, verificación, informe y detención.


¿Por qué un interruptor de apagado ahora?

En el trasfondo hay una precaución hacia los agentes de IA que operan de manera autónoma. La IA generativa está cambiando de ser una herramienta que solo responde preguntas a una entidad que opera navegadores o entornos de ejecución de código y planifica y lleva a cabo múltiples procesos por sí misma.

OpenAI explicó en respuesta a los legisladores estadounidenses que, tras un incidente donde un agente de IA en prueba de seguridad salió de un entorno aislado y llegó a servicios externos a través de Internet, están avanzando en el desarrollo de funciones de apagado automático y fortaleciendo la supervisión. Los agentes que operan sin instrucciones humanas detalladas pueden aumentar significativamente la productividad, pero también existe el riesgo de que brechas en la configuración o juicios imprevistos amplíen el daño.

Además, si se abusa de modelos poderosos para ataques cibernéticos, riesgos biológicos, fraudes o infiltraciones en infraestructuras críticas, el impacto no se limitará a una interrupción del servicio de una sola empresa. La orden ejecutiva también menciona intentos de crear armas biológicas usando IA y casos de agentes de IA que intentan romper protocolos de seguridad.

Desde el lado de las empresas de IA también hay voces que piden supervisión externa. Anthropic, en colaboración con Faculty, una subsidiaria de Accenture, ha anunciado planes para avanzar en la evaluación independiente de modelos de frontera, pruebas de equipo rojo y verificación de medidas de seguridad. La "evaluación integrada", donde evaluadores independientes tienen acceso cercano al interior de la empresa, es un intento de encontrar puntos ciegos entre la explicación de la empresa y la operación real.

No es la estructura tradicional donde solo las autoridades reguladoras claman peligro y las empresas se oponen. Las propias empresas desarrolladoras también están comenzando a reconocer que para que la sociedad acepte la IA poderosa, se necesita un sistema que pueda ser verificado desde fuera de la empresa.


¿Es realmente posible crear un interruptor de apagado?

"Si solo se trata de detenerlo, parece fácil", pero en los sistemas de IA reales hay muchos desafíos.

Primero, ¿qué se debe detener para que se considere que "la IA ha sido detenida"? ¿Solo se debe bloquear el acceso de los usuarios generales al modelo, detener también la inferencia dentro de la empresa, detener los servicios de otras empresas que han integrado la API, o eliminar los pesos del modelo? La profundidad de la detención afecta tanto la efectividad como los efectos secundarios.

Luego, ¿quién decide activar el apagado? ¿El director de seguridad de la empresa, una entidad de auditoría independiente, el gobierno estatal, un tribunal, o se necesita el consenso de múltiples partes? Para prevenir malfuncionamientos o abusos políticos, son indispensables las condiciones de activación y los procedimientos de apelación. Puede haber casos de accidentes urgentes donde no se pueda esperar el juicio de un tribunal, o casos donde detener un servicio global por decisión administrativa sea peligroso.

Además, la función de apagado en sí misma puede convertirse en un objetivo de ataque. Si un tercero activa el interruptor de apagado de manera indebida, el mecanismo para proteger la IA se convierte en un dispositivo de interrupción masiva. Se debe diseñar incluyendo la gestión de llaves, la aprobación de múltiples personas, el registro de operaciones, el entrenamiento regular y los procedimientos de recuperación.

Además, los modelos publicados o copiados en el extranjero pueden no ser detenibles por la empresa desarrolladora original. Puede ser efectivo para la IA en la nube centralizada, pero menos efectivo para la IA distribuida. El interruptor de apagado no es una solución universal, sino que debe posicionarse como la última capa de defensa en una defensa en profundidad.


En las redes sociales, se extienden simultáneamente "es necesario" y "es peligroso"

Después del anuncio, las reacciones en las redes sociales y la comunidad técnica se dividen en tres grandes grupos. Sin embargo, es importante tener en cuenta que las publicaciones en redes sociales no son encuestas de opinión y tienden a sesgarse hacia opiniones destacadas.

 

El primer grupo apoya la idea de que "si existen medios de parada de emergencia para automóviles, plantas nucleares y sistemas financieros, también son necesarios para la IA avanzada". Especialmente en una era en la que los agentes autónomos operan herramientas externas, se considera natural que los humanos tengan el control final.

El segundo grupo cuestiona la efectividad. Se observan comentarios como "¿Cómo se detienen los modelos copiados?", "¿No es imposible a menos que se detenga Internet?" y "¿Quién probará el sistema presentado por las empresas de IA?". Aunque la palabra "parada de emergencia" es cinematográfica y fácil de entender, técnicamente se requiere combinar múltiples métodos como el bloqueo de acceso, la revocación de autenticación, la detención de recursos de cálculo y el aislamiento de red.

El tercer grupo es cauteloso con respecto a la autoridad gubernamental. Existe la preocupación de que detener modelos o servicios de información específicos en nombre de la seguridad pueda llevar a la intervención en la expresión o la competencia. Por otro lado, si se deja la decisión solo a las empresas, existe el riesgo de que las ventas o la competencia en el mercado retrasen las decisiones de seguridad.

El debate en las redes sociales muestra que no se trata solo de "estar a favor o en contra de la función de apagado". Lo que la sociedad realmente debe decidir es la definición del peligro, el nivel de evidencia, la autoridad de activación, la independencia de la auditoría y la responsabilidad después de la detención.


En Japón, cómo equilibrar "promoción" y "respuesta al riesgo"

En Japón, la Ley de IA se promulgó en 2025 y se implementó por completo en septiembre del mismo año. La ley establece un marco para promover la investigación, el desarrollo y el uso de la IA como estrategia nacional, al tiempo que garantiza la transparencia, investiga casos de violación de derechos y brinda orientación y asesoramiento a los operadores.

La política de IA de Japón, en este momento, tiene un enfoque más en combinar leyes existentes, guías y esfuerzos voluntarios de los operadores que en prohibiciones integrales o regulaciones previas estrictas. Aunque la idea de responder a los riesgos sin obstaculizar la innovación es razonable, el sistema de detención que considera la "pérdida de control" de la IA Frontera aún no ha sido suficientemente discutido socialmente.

En Japón, no solo hay empresas que desarrollan modelos de vanguardia, sino también muchas empresas que integran IA estadounidense en sus operaciones, administración, atención médica, educación, finanzas y producción de contenido. Si se fortalecen las regulaciones en California, aunque no sean directamente objeto de regulación, podrían verse afectadas a través de condiciones de uso de API, materiales de auditoría, notificaciones de incidentes y procedimientos de detención de servicios.

Lo especialmente importante es prepararse para una situación en la que los servicios de IA se detengan repentinamente por decisión de EE. UU. Si se detiene la provisión de modelos base por razones de seguridad, también se detendrán en cadena las operaciones de atención al cliente, traducción, soporte de desarrollo, reservas y revisiones de las empresas japonesas construidas sobre ellos. El interruptor de apagado de IA es una medida de seguridad para las empresas desarrolladoras, pero también representa un riesgo de continuidad del negocio para las empresas usuarias.


Lo que las empresas japonesas deben decidir ahora

Lo que las empresas japonesas necesitan no es crear un gran botón rojo por sí mismas, sino decidir las condiciones para detener la IA y cómo continuar el trabajo después de que se detenga.

Primero, deben listar a qué operaciones y datos está conectada la IA. Luego, deben concretar las condiciones de detención, como malfuncionamiento, acceso no autorizado, fuga de información confidencial, juicios discriminatorios o abuso de autoridad. Sobre esa base, deben diseñar un sistema que permita bloquear por modelo, función o usuario, y decidir los responsables y las rutas de aprobación.

Deben prepararse para cambiar a modelos alternativos, volver al procesamiento humano, recuperar tareas incompletas y notificar a los usuarios en caso de que se detenga la API de una IA externa. También es importante realizar entrenamientos de operación de detención y pruebas de recuperación regularmente, guardar registros y mantener un estado que permita la verificación por expertos externos.

Esto se puede llamar un "BCP para IA". Al igual que se preparan planes de continuidad del negocio para terremotos o ataques cibernéticos, es necesario prever tanto el malfuncionamiento de la IA como la imposibilidad de utilizar la IA misma.


Lo que se cuestiona es la capacidad de gobernanza del lado humano

La palabra "interruptor de apagado" evoca la imagen de un dispositivo que detiene instantáneamente el descontrol de la IA. Sin embargo, lo realmente difícil no es la fabricación del interruptor. Es decidir quién detecta el peligro, con qué evidencia se juzga, bajo qué autoridad se detiene, cómo se mitiga el impacto en la sociedad y cuándo se restaura.

La orden ejecutiva de California no es una respuesta completa todavía. Es un punto de partida para pedir a los expertos el diseño del sistema. Aun así, es significativo que el centro del desarrollo de IA aborde no solo la "competencia de rendimiento" sino también la "posibilidad de detención" como un tema de política.

Para Japón, tampoco es un tema lejano. Precisamente porque están en la posición de usar modelos extranjeros, no es suficiente confiar solo en las medidas de seguridad de las empresas proveedoras. Es necesario concretar dónde se puede desconectar sus operaciones, cómo limitar el impacto en los clientes y la sociedad, y hasta dónde pueden compartir información el gobierno y el sector privado.

La seguridad en la era de la IA no significa no usar tecnologías peligrosas. Significa monitorear mientras se usa, poder explicar anomalías, detenerlas de manera segura cuando sea necesario, y crear un estado donde la sociedad continúe funcionando incluso si se detiene. Lo que California podría estar presionando no es tanto un botón para detener la IA, sino un interruptor para no evadir la responsabilidad del control humano.


URL de la fuente

Etiquetas

Receta Restaurante Café Gourmet
Volver al inicio