Riesgo existencial

En palabras sencillas

El filósofo Nick Bostrom definió en 2002 los riesgos existenciales como aquellos que acabarían con la vida inteligente originada en la Tierra o reducirían su potencial de forma permanente y drástica. La guerra nuclear, las pandemias creadas por bioingeniería y el impacto de asteroides son ejemplos clásicos. Desde la década de 2010, un número creciente de investigadores sitúa la superinteligencia desalineada cerca de lo más alto de la lista, porque podría actuar de forma estratégica contra los intentos de detenerla.

La preocupación llegó al gran público en 2023, cuando líderes de laboratorios e investigadores firmaron una declaración de una sola frase según la cual reducir el riesgo de extinción por esta tecnología debería ser una prioridad mundial, junto a las pandemias y la guerra nuclear. Las estimaciones de la probabilidad varían muchísimo, de insignificantes a muy altas, y a veces se resumen como p(doom). Los escépticos sostienen que el riesgo es especulativo y distrae de los daños actuales; quienes lo defienden responden que el costo de equivocarse es demasiado alto para ignorarlo.

Por qué importa para la SI rebelde

La SI rebelde es el escenario que más se cita como riesgo existencial de esta tecnología. El Reloj RSI existe para poner una cifra pública y verificable a lo cerca que está el mundo de ella.

Fuentes

1. The statement on extinction risk (2023) Center for AI Safety