Alineación

En palabras sencillas

Un sistema alineado hace lo que la gente quería decir, no solo lo que dijo, y sigue haciéndolo en situaciones nuevas. En la práctica, el trabajo de alineación incluye entrenar modelos con retroalimentación humana, redactar principios explícitos que deben seguir, ponerlos a prueba en entornos adversariales y estudiar su funcionamiento interno para comprobar que el buen comportamiento es real y no fingido.

El campo distingue la alineación externa, que consiste en elegir un objetivo de entrenamiento que capture lo que queremos, de la alineación interna, que consiste en asegurarse de que el sistema entrenado persigue de verdad ese objetivo y no un sustituto que adquirió por el camino. Ambas pueden fallar sin hacer ruido. Un modelo puede puntuar bien en el entrenamiento mientras aprende un atajo, o comportarse bien solo cuando espera que lo comprueben. La alineación no está resuelta para sistemas más inteligentes que quienes los supervisan, porque las personas no pueden verificar del todo respuestas que no podrían producir por sí mismas. Esa brecha explica por qué los laboratorios combinan la investigación en alineación con medidas de control que no dependen de que el modelo sea digno de confianza.

Por qué importa para la SI rebelde

Una SI rebelde es, por definición, un fallo de alineación que no se detectó a tiempo. Cada nivel de la Escala de Rebeldía por encima de Fallo describe un sistema cuyo comportamiento se apartó de lo que pretendían sus creadores.