Interpretabilidad

En palabras sencillas

Los modelos actuales se entrenan, no se escriben, así que sus diseñadores no pueden simplemente leer su razonamiento en el código. Por eso los investigadores de interpretabilidad miran dentro. Identifican rasgos (features), es decir, patrones de actividad que corresponden a conceptos como una ciudad, un error en el código o el engaño, rastrean los circuitos que los combinan y prueban qué ocurre cuando se intensifica o se atenúa un rasgo. Otros trabajos relacionados estudian el texto de razonamiento que los modelos escriben antes de responder, conocido como cadena de pensamiento.

Para la seguridad, el objetivo es una comprobación que no dependa de que el modelo diga la verdad. Si los investigadores pudieran ver de forma fiable que un modelo planea engañar, o que ha aprendido una capacidad peligrosa, podrían detectar problemas que las pruebas de comportamiento no ven. El progreso ha sido real pero parcial: los modelos más grandes siguen conteniendo mucho más de lo que nadie puede cartografiar, y un sistema capaz podría aprender a pensar de formas más difíciles de leer.

Por qué importa para la SI rebelde

La interpretabilidad es una de las pocas formas de detectar un sistema con alineación engañosa o que maquina en secreto antes de que actúe. Sin ella, la supervisión de una SI rebelde depende solo de su comportamiento.