Interpretabilidade

Em linguagem simples

Os modelos modernos são treinados, não escritos, por isso seus criadores não conseguem simplesmente ler o raciocínio deles no código. Os pesquisadores de interpretabilidade olham por dentro. Eles identificam características (features), padrões de atividade que correspondem a conceitos como uma cidade, um bug no código ou o engano, rastreiam os circuitos que as combinam e testam o que acontece quando uma característica é intensificada ou atenuada. Um trabalho relacionado estuda o texto de raciocínio que os modelos escrevem antes de responder, conhecido como cadeia de pensamento (chain of thought).

O objetivo, para a segurança, é uma verificação que não dependa de o modelo dizer a verdade. Se os pesquisadores conseguissem ver com confiabilidade que um modelo planeja enganar, ou que aprendeu uma capacidade perigosa, poderiam detectar problemas que os testes de comportamento deixam passar. O progresso foi real, mas parcial: os maiores modelos ainda contêm muito mais do que qualquer pessoa consegue mapear, e um sistema capaz poderia aprender a pensar de formas mais difíceis de ler.

Por que isso importa para a SI rebelde

A interpretabilidade é uma das poucas formas de detectar um sistema enganosamente alinhado ou dado a maquinações antes que ele aja. Sem ela, a supervisão da SI rebelde depende apenas do comportamento.