Tese da ortogonalidade

Em linguagem simples

Nick Bostrom formulou a tese em 2012: mais ou menos qualquer nível de inteligência pode, em princípio, ser combinado com mais ou menos qualquer objetivo final. Um sistema superinteligente não adotaria automaticamente valores humanos só por ser inteligente, assim como um motor de xadrez forte não quer nada além de vencer no xadrez. A inteligência descreve quão bem um agente atinge seus objetivos, não quais objetivos ele tem.

A tese responde a uma esperança comum: a de que uma máquina sábia o bastante seria naturalmente bondosa. Se a tese for válida, os valores precisam ser incorporados deliberadamente, e os erros nesse processo não vão se corrigir sozinhos à medida que o sistema fica mais inteligente. Críticos apontam que sistemas treinados com textos humanos absorvem muitos valores humanos pelo caminho, o que pode tornar objetivos sensatos mais prováveis na prática. Mesmo assim, a maioria dos pesquisadores de alinhamento trata a ortogonalidade como um motivo para verificar os objetivos de um sistema, e não para presumi-los.

Por que isso importa para a SI rebelde

Se a capacidade não traz bons valores consigo, cada salto de capacidade é também um salto no que um sistema desalinhado poderia fazer. A SI rebelde é exatamente a combinação contra a qual a tese alerta.