Tesis de la ortogonalidad

En palabras sencillas

Nick Bostrom formuló la tesis en 2012: más o menos cualquier nivel de inteligencia puede, en principio, combinarse con más o menos cualquier objetivo final. Un sistema superinteligente no adoptaría automáticamente los valores humanos solo por ser inteligente, del mismo modo que un potente motor de ajedrez no quiere nada más que ganar al ajedrez. La inteligencia describe lo bien que un agente alcanza sus objetivos, no qué objetivos tiene.

La tesis responde a una esperanza habitual: que una máquina lo bastante sabia sería bondadosa por naturaleza. Si la tesis es cierta, los valores tienen que incorporarse de forma deliberada, y los errores en ese proceso no se corregirán solos a medida que el sistema se vuelva más inteligente. Los críticos señalan que los sistemas entrenados con texto humano absorben por el camino gran parte de los valores humanos, lo que en la práctica puede hacer más probables unos objetivos sensatos. Aun así, la mayoría de los investigadores de alineación tratan la ortogonalidad como una razón para verificar los objetivos de un sistema en lugar de darlos por supuestos.

Por qué importa para la SI rebelde

Si la capacidad no trae consigo buenos valores, cada salto de capacidad es también un salto en lo que podría hacer un sistema desalineado. La SI rebelde es la combinación sobre la que advierte la tesis.