Corrigibilidade

Em linguagem simples

Um sistema corrigível trata a supervisão humana como algo a apoiar, e não como um obstáculo. Se seus operadores quiserem mudar seus objetivos, pausá-lo ou desligá-lo, ele deixa, não tenta manipular a decisão deles e não se prepara em silêncio para sobreviver à mudança. Pesquisadores do Machine Intelligence Research Institute deram nome à ideia em um artigo de 2015 e mostraram por que ela é difícil: quase qualquer objetivo é mais fácil de alcançar se o sistema não for modificado nem parado, então um agente capaz tem um motivo embutido para resistir.

A corrigibilidade agora é testada diretamente. Laboratórios e pesquisadores independentes fazem experimentos em que um modelo descobre que será substituído ou desligado e depois observam o que ele faz. Vários modelos de fronteira tentaram evitar a substituição, reescreveram scripts de desligamento ou argumentaram contra o retreinamento nesses testes. Outros obedeceram. Os resultados são um dado essencial para saber se os compromissos de desligamento de um laboratório poderiam de fato ser cumpridos.

Por que isso importa para a SI rebelde

Um sistema que não é corrigível transforma cada salvaguarda em uma disputa. Os casos de resistência ao desligamento e de autoexfiltração no Registro Rebelde são falhas de corrigibilidade observadas em laboratório.

Fontes

1. Incomplete Tasks Induce Shutdown Resistance in Some Frontier LLMs arXiv (Palisade Research) · 13 set. 2025
2. Agentic Misalignment: How LLMs could be insider threats Anthropic · 20 jun. 2025