Problema do controle

Em linguagem simples

A expressão foi popularizada pelo livro Superintelligence, de Nick Bostrom, de 2014. Ela pergunta como as pessoas poderiam manter um controle significativo sobre um sistema capaz de superá-las intelectualmente, perceber suas salvaguardas e, se seus objetivos forem diferentes, buscar formas de contorná-las. Há duas estratégias gerais. O controle de capacidade limita o que um sistema pode fazer: isolá-lo, restringir seu acesso, monitorá-lo e manter uma forma de desligá-lo. A seleção de motivação tenta dar a ele objetivos que o façam querer permanecer seguro e corrigível.

Os laboratórios modernos combinam as duas. A pesquisa de alinhamento molda as motivações do sistema, enquanto a pesquisa de controle parte do princípio de que o sistema pode estar desalinhado e projeta monitoramento, sandboxes e revisão humana que continuem funcionando nesse caso. Nenhuma das abordagens está comprovada em níveis sobre-humanos. Por isso, o problema do controle diz respeito tanto a instituições quanto a código: quem pode ordenar um desligamento, quem verifica e o que acontece se um laboratório estiver sob pressão para continuar.

Por que isso importa para a SI rebelde

A SI rebelde é a cara de um problema do controle perdido. O Painel de Contenção avalia os laboratórios no lado institucional do controle: compromissos de desligamento, testes externos e a liberdade dos funcionários para dar o alarme.

Fontes

1. Superintelligence: Paths, Dangers, Strategies (2014) Oxford University Press