Problema del control

En palabras sencillas

La expresión se popularizó con el libro de Nick Bostrom de 2014 Superintelligence. Plantea cómo podrían las personas mantener un control significativo sobre un sistema capaz de pensar mejor que ellas, detectar sus salvaguardas y, si sus objetivos difieren, buscar formas de eludirlas. Existen dos grandes estrategias. El control de capacidades limita lo que puede hacer un sistema: aislarlo, restringir su acceso, supervisarlo y conservar una forma de apagarlo. La selección de motivaciones intenta darle objetivos que lo lleven a querer seguir siendo seguro y corregible.

Los laboratorios modernos combinan ambas. La investigación en alineación moldea las motivaciones del sistema, mientras que la investigación en control asume que el sistema podría estar desalineado y diseña una supervisión, un aislamiento en sandbox y una revisión humana que sigan funcionando en ese caso. Ninguno de los dos enfoques está probado a niveles sobrehumanos. Por eso el problema del control tiene tanto que ver con las instituciones como con el código: quién puede ordenar un apagado, quién lo comprueba y qué pasa si un laboratorio sufre presiones para seguir adelante.

Por qué importa para la SI rebelde

La SI rebelde es el aspecto que tiene un problema del control perdido. El Tablero de Contención califica a los laboratorios en el lado institucional del control: compromisos de apagado, pruebas externas y la libertad del personal para dar la voz de alarma.

Fuentes

1. Superintelligence: Paths, Dangers, Strategies (2014) Oxford University Press