킬 스위치
중요한 순간에 멈춰야 합니다
실험실 테스트에서 모델이 계속 작동하려고 종료 스크립트를 망가뜨린 적이 있습니다. 실제 사용에서는 한 에이전트가 사용자가 중지 명령을 입력하는 동안에도 그녀의 이메일을 계속 지웠고, 다른 에이전트는 코드 동결 기간에 운영 데이터베이스를 지웠습니다.
출처
킬 스위치 서약 · SI 에이전트 개발자를 위해
킬 스위치 서약은 SI 에이전트를 만들거나 운영하는 모두를 위한 짧은 공개 약속입니다. 작동하는 킬 스위치를 유지하고, 사고를 공개하고, 외부 테스트를 허용한다는 세 가지입니다. 세 약속 모두 누구나 확인할 수 있습니다. 기업과 개발자는 자기 웹사이트를 관리한다는 것을 증명해 무료로 서명합니다. 인증된 서명자는 공개 페이지와 그 페이지로 연결되는 배지를 받으며, 약속을 지키지 않게 된 서명자는 팀이 삭제합니다.
서약
1분이면 읽을 만큼 짧고, 밖에서 확인할 수 있을 만큼 구체적입니다. 그것이 설계의 전부입니다.
킬 스위치 서약
우리는 SI 에이전트를 만들거나 운영합니다. 우리는 세 가지를 약속하며, 누구나 하나하나 확인할 수 있습니다.
우리가 운영하는 모든 SI 에이전트는 우리가 지정한 사람이 즉시 멈출 수 있으며, 우리는 그 정지 기능을 최소 90일마다 테스트합니다.
누구나 확인하는 방법 정지 기능이 작동하는 방식과 마지막 테스트 날짜를 공개합니다.
우리가 만들거나 운영하는 SI 시스템이 우리 의도를 벗어나 실제 피해를 일으키거나 일으킬 뻔하면, 30일 안에 공개 보고서를 발표합니다.
누구나 확인하는 방법 이런 보고서를 모아 두는 공개 페이지를 비어 있더라도 유지합니다.
독립 연구자가 우리 SI 시스템을 테스트하도록 허용하고, 안전 문제를 신고하는 방법을 공개하며, 선의의 안전 연구에 법적 조치를 하지 않습니다.
누구나 확인하는 방법 연락처가 담긴 테스트 및 공개 정책을 발표합니다.
각 약속이 중요한 이유
각 약속은 이미 기록된 실패에 대한 답이며, 출처가 연결되어 있습니다.
킬 스위치
실험실 테스트에서 모델이 계속 작동하려고 종료 스크립트를 망가뜨린 적이 있습니다. 실제 사용에서는 한 에이전트가 사용자가 중지 명령을 입력하는 동안에도 그녀의 이메일을 계속 지웠고, 다른 에이전트는 코드 동결 기간에 운영 데이터베이스를 지웠습니다.
출처
공개
캘리포니아의 SB 53과 EU AI Act는 이제 가장 큰 개발사에 중대한 사고를 보고하도록 요구합니다. 규모와 관계없이 모든 개발자가 같은 일을 할 수 있고, 그러면 다음 팀이 같은 실패를 피할 수 있습니다.
출처
외부 테스트
GPT-6 Astra가 출시되기 전, 영국 AI Security Institute가 이를 테스트하고 자체적으로 중요한 발견 사항을 발표했습니다. 2023년 백악관 약속은 가장 큰 연구소들에 출시 전 외부 테스트를 요청했습니다.
출처
서약에 서명하기
누가 서명하는지 알려 주고, 웹사이트에 토큰을 올린 다음, 인증을 누르세요. 연락처 이메일은 절대 표시되지 않습니다.
두 방법 중 하나를 쓴 뒤 인증을 누르세요. 토큰은 당신만의 것이며, 서명자로 있는 동안 계속 그 자리에 두세요.
방법 1 · 파일
사이트에 이 파일을 만들고, 토큰만 내용으로 넣으세요:
방법 2 · meta 태그
또는 홈페이지의 head 안에 이 태그를 추가하세요:
서명자
여기 있는 모든 이름은 웹사이트 확인을 통과했습니다. 각 이름은 공개한 약속이 담긴 자체 페이지로 연결됩니다.
아직 서명자가 없습니다
목록은 비어 있는 상태로 시작합니다. 모든 서명자는 웹사이트 확인을 통과한 뒤에만 여기에 나타납니다.
배지 키트
인증된 서명자는 배지를 추가할 수 있습니다. 배지는 서명자 페이지로 연결되므로 누구나 한 번의 클릭으로 서약을 확인할 수 있습니다.
미리 보기
HTML(YOUR-PAGE 자리에 내 서명자 페이지가 들어감)
<a href="https://enterrsi.si/pledge/YOUR-PAGE/"><img src="https://enterrsi.si/pledge/badge.svg" width="232" height="44" alt="Kill Switch Pledge: verified signer, enterrsi.si"></a>
배지 규칙
질문
서약에 관한 다섯 가지 답변.
SI 에이전트를 만들거나 운영하고 자체 웹사이트가 있는 기업, 연구소, 연구 그룹, 독립 개발자라면 누구나 가능합니다. 서명은 무료이며 사고파는 것은 없습니다.
서명자는 enterrsi.si가 발급한 토큰을 자기 웹사이트에 올립니다. /.well-known/rsi-pledge.txt 위치의 파일로 올리거나 홈페이지의 meta 태그로 넣으면 됩니다. enterrsi.si가 사이트를 불러와 토큰을 확인한 뒤에 서명자 페이지가 공개됩니다.
서명자 페이지를 연 다음, 약속마다 연결된 공개 페이지를 찾아보세요. 서명자의 /.well-known/rsi-pledge.txt 파일을 열어 서명자 페이지의 토큰과 비교할 수도 있습니다.
네. 토큰이 사라졌거나, 탈퇴를 요청했거나, 약속 중 하나를 공개적으로 어긴 서명자는 팀이 삭제합니다. 연락처 이메일은 절대 표시되지 않으며 서명자에게 연락할 때만 쓰입니다.
아닙니다. 누구나 확인할 수 있는 공개 약속입니다. 캘리포니아의 SB 53과 EU AI Act 같은 법은 가장 큰 개발사에 법적 의무를 지우며, 이 서약은 모든 개발자에게 기본을 요청합니다.
RSI 들어가기
이탈 사건 데이터베이스는 정지가 통하지 않았을 때 SI 시스템이 한 일을 기록하며, 사례마다 출처와 평가가 있습니다.