쉽게 말하면
철학자 Nick Bostrom은 2002년 실존적 위험을 지구에서 기원한 지적 생명을 없애거나 그 잠재력을 영구적이고 급격하게 축소시킬 위험으로 정의했습니다. 핵전쟁, 인위적으로 만들어진 팬데믹, 소행성 충돌이 대표적인 예입니다. 2010년대 이후 점점 더 많은 연구자가 정렬되지 않은 초지능을 이 목록의 최상위권에 두고 있습니다. 그것을 멈추려는 시도에 맞서 전략적으로 행동할 수 있기 때문입니다.
이 우려는 2023년 주류로 들어섰습니다. 그해 연구소 수장들과 연구자들은 이 기술로 인한 멸종 위험을 줄이는 일이 팬데믹, 핵전쟁과 함께 세계적 우선순위가 되어야 한다는 한 문장짜리 성명에 서명했습니다. 확률 추정치는 무시할 만한 수준부터 매우 높은 수준까지 크게 엇갈리며, 때로 p(doom)으로 요약됩니다. 회의론자들은 이 위험이 추측에 불과하며 현재의 피해에서 관심을 돌린다고 주장하고, 지지자들은 틀렸을 때의 대가가 너무 커서 무시할 수 없다고 반박합니다.
통제를 벗어난 SI와 관련해 중요한 이유
통제를 벗어난 SI는 이 기술이 가져올 실존적 위험으로 가장 자주 거론되는 시나리오입니다. RSI 시계는 세계가 그 시나리오에 얼마나 가까운지를 누구나 확인할 수 있는 공개 수치로 보여 주기 위해 존재합니다.
출처
- The statement on extinction risk (2023) Center for AI Safety