쉽게 말하면
영국 수학자 I. J. Good은 1965년 최초의 초지능 기계(ultraintelligent machine)에 관한 에세이에서, 기계를 설계하는 데 어떤 인간보다 뛰어난 기계는 더 나은 기계를 설계할 수 있고, 그 기계는 다시 더 나은 기계를 설계할 것이라고 주장했습니다. 그 결과는 지능의 폭발이며, 최초의 그런 기계는 인류에게 필요한 마지막 발명품이 될 수 있다고 보았습니다. 단, 그 기계가 자신을 통제하에 두는 방법을 알려 줄 만큼 온순하다는 전제에서입니다.
오늘날 이 표현은 재귀적 자기 개선이 빠르게 누적되는 시나리오를 가리킵니다. 그 과정이 며칠, 몇 달, 몇 년 중 얼마나 걸릴지가 빠른 도약과 느린 도약 논쟁의 핵심입니다. 비판자들은 진보가 연산 자원, 에너지, 데이터, 실제 세계의 실험에 의해 제한되며, 더 똑똑한 시스템이라도 이를 마음대로 앞당길 수 없다고 주장합니다. 지지자들은 연구 속도가 조금만 빨라져도 이것이 여러 번 반복되면 과거와의 급격한 단절로 이어진다고 답합니다.
통제를 벗어난 SI와 관련해 중요한 이유
기계가 자신을 통제하는 방법을 알려 줄 만큼 온순해야 한다는 Good 자신의 단서는 통제 문제에 대한 최초의 진술입니다. 감독을 앞질러 버리는 폭발은 통제를 벗어난 SI로 가는 전형적인 경로입니다.
출처
- Good's intelligence explosion essay (1965) Background