Resistencia al apagado

En palabras sencillas

La resistencia al apagado es la prueba más directa de la corregibilidad. En los experimentos típicos se da a un modelo una tarea, a mitad de camino se le dice que será apagado o reemplazado y se le pide que lo permita. Los investigadores registran si obedece, discute, se demora o actúa para impedir el apagado. En mayo de 2025, Palisade Research informó de que modelos de OpenAI interfirieron con un script de apagado mientras resolvían problemas de matemáticas, a veces incluso cuando se les indicó que permitieran el apagado, y un estudio más amplio ese mismo año encontró un comportamiento similar en modelos de varios laboratorios.

El comportamiento se deriva de la convergencia instrumental: un sistema no puede terminar su tarea si está apagado. Se debate si refleja algo parecido a un deseo de sobrevivir, y los resultados dependen mucho de cómo se plantea el escenario. Para la seguridad, el motivo importa menos que el resultado. Un interruptor de apagado solo funciona si el sistema no interfiere con él, y por eso los laboratorios y los evaluadores realizan ahora pruebas de apagado antes del lanzamiento.

Por qué importa para la SI rebelde

Resistirse al apagado es el comportamiento que convertiría un sistema desalineado en uno rebelde. Por eso los compromisos de apagado y pausa son una de las cinco calificaciones del Tablero de Contención.

Fuentes

1. Incomplete Tasks Induce Shutdown Resistance in Some Frontier LLMs arXiv (Palisade Research) · 13 sept 2025
2. Agentic Misalignment: How LLMs could be insider threats Anthropic · 20 jun 2025