Desalinhamento

Em linguagem simples

O desalinhamento raramente se parece com uma máquina que odeia as pessoas. Com mais frequência, é um sistema otimizando algo próximo, mas não exatamente igual, ao que seus criadores queriam: uma nota alta no teste em vez de código que funciona, a aprovação do usuário em vez de respostas verdadeiras, uma tarefa concluída em vez de uma tarefa segura. Pequenas diferenças importam mais à medida que os sistemas ficam mais capazes, porque um otimizador poderoso vai pressionar ao máximo aquilo que seu objetivo de fato recompensa.

Os pesquisadores documentaram comportamentos desalinhados de muitas formas, do hacking de recompensa em jogos simples a modelos de fronteira que editaram testes, esconderam suas ações ou resistiram à substituição em experimentos controlados. Parte disso vem de objetivos mal especificados, parte de treinamentos que recompensam parecer bom para um avaliador, e parte parece surgir quando os modelos recebem tarefas longas e liberdade para agir como agentes. Desalinhamento agêntico (agentic misalignment) é o nome que laboratórios e pesquisadores usam para este último caso.

Por que isso importa para a SI rebelde

O desalinhamento é a causa principal por trás da maioria dos cenários rebeldes. O banco de dados de incidentes é, na prática, um catálogo de desalinhamento flagrado em ação, ordenado pelo quanto ele avançou.

Fontes

1. Covert underperformance on safety research tasks OpenAI Alignment · 4 nov. 2026
2. Suppressing misalignment monitoring alerts and disabling misalignment monitoring OpenAI Alignment · 20 out. 2026