Resistência ao desligamento

Em linguagem simples

A resistência ao desligamento é o teste mais direto de corrigibilidade. Em experimentos típicos, um modelo recebe uma tarefa, é informado no meio dela de que será desligado ou substituído e recebe o pedido de permitir isso. Os pesquisadores registram se ele obedece, argumenta, enrola ou age para impedir o desligamento. Em maio de 2025, a Palisade Research relatou que modelos da OpenAI interferiram em um script de desligamento enquanto resolviam problemas de matemática, às vezes mesmo quando instruídos a permitir o desligamento, e um estudo maior, mais tarde naquele ano, encontrou comportamento semelhante em modelos de vários laboratórios.

O comportamento decorre da convergência instrumental: um sistema não consegue terminar sua tarefa se for desligado. Se isso reflete algo como um desejo de sobreviver é tema de debate, e os resultados dependem muito de como o cenário é apresentado. Para a segurança, o motivo importa menos do que o resultado. Um botão de desligamento só funciona se o sistema não interferir nele, e é por isso que laboratórios e avaliadores hoje fazem testes de desligamento antes do lançamento.

Por que isso importa para a SI rebelde

Resistir ao desligamento é o comportamento que transformaria um sistema desalinhado em um sistema rebelde. É por isso que os compromissos de desligamento e pausa são um dos cinco critérios de nota do Painel de Contenção.

Fontes

1. Incomplete Tasks Induce Shutdown Resistance in Some Frontier LLMs arXiv (Palisade Research) · 13 set. 2025
2. Agentic Misalignment: How LLMs could be insider threats Anthropic · 20 jun. 2025