Risco existencial

Em linguagem simples

O filósofo Nick Bostrom definiu os riscos existenciais em 2002 como aqueles que eliminariam a vida inteligente originada na Terra ou reduziriam seu potencial de forma permanente e drástica. Guerra nuclear, pandemias criadas artificialmente e impactos de asteroides são exemplos clássicos. Desde a década de 2010, um número crescente de pesquisadores coloca a superinteligência desalinhada perto do topo da lista, porque ela poderia agir estrategicamente contra as tentativas de detê-la.

A preocupação chegou ao grande público em 2023, quando líderes de laboratórios e pesquisadores assinaram uma declaração de uma única frase afirmando que reduzir o risco de extinção causado pela tecnologia deveria ser uma prioridade global, ao lado de pandemias e da guerra nuclear. As estimativas de probabilidade variam enormemente, de insignificantes a muito altas, e às vezes são resumidas como p(doom). Os céticos argumentam que o risco é especulativo e desvia a atenção dos danos atuais; os defensores respondem que o custo de estar errado é alto demais para ser ignorado.

Por que isso importa para a SI rebelde

A SI rebelde é o cenário mais citado como risco existencial dessa tecnologia. O Relógio RSI existe para atribuir um número público e verificável a quão perto o mundo está dele.

Fontes

1. The statement on extinction risk (2023) Center for AI Safety