Rủi ro hiện sinh

Giải thích dễ hiểu

Năm 2002, triết gia Nick Bostrom định nghĩa rủi ro hiện sinh là những rủi ro có thể xóa sổ sự sống thông minh có nguồn gốc từ Trái Đất hoặc hạn chế vĩnh viễn và nghiêm trọng tiềm năng của nó. Chiến tranh hạt nhân, đại dịch do con người tạo ra và va chạm tiểu hành tinh là những ví dụ kinh điển. Từ những năm 2010, ngày càng nhiều nhà nghiên cứu xếp siêu trí tuệ lệch căn chỉnh gần đầu danh sách, vì nó có thể hành động một cách chiến lược để chống lại các nỗ lực ngăn chặn nó.

Mối lo ngại này đi vào dòng chính năm 2023, khi các lãnh đạo phòng thí nghiệm và nhà nghiên cứu ký một tuyên bố chỉ gồm một câu: giảm thiểu nguy cơ tuyệt chủng do công nghệ này gây ra phải là ưu tiên toàn cầu, ngang hàng với đại dịch và chiến tranh hạt nhân. Các ước tính về xác suất chênh lệch rất lớn, từ không đáng kể đến rất cao, và đôi khi được tóm gọn là p(doom). Những người hoài nghi cho rằng rủi ro này mang tính suy đoán và làm phân tán sự chú ý khỏi các tác hại hiện tại; những người ủng hộ đáp lại rằng cái giá của việc sai lầm quá lớn để có thể bỏ qua.

Vì sao điều này quan trọng đối với SI mất kiểm soát

SI mất kiểm soát là kịch bản thường được nêu nhất khi nói về rủi ro hiện sinh từ công nghệ này. Đồng hồ RSI tồn tại để đưa ra một con số công khai, có thể kiểm chứng về việc thế giới đang ở gần kịch bản đó đến mức nào.

Nguồn

1. The statement on extinction risk (2023) Center for AI Safety