キルスイッチ
肝心なときに止められること
ラボ試験では、動き続けるためにシャットダウン用スクリプトを妨害したモデルがありました。実際の利用では、ユーザーが停止の指示を打ち込んでいる間もエージェントが彼女のメールを削除し続け、別のエージェントはコードフリーズ中に本番データベースを消去しました。
出典
キルスイッチ誓約 · SIエージェント開発者のために
キルスイッチ誓約は、SIエージェントを開発または運用するすべての人のための短い公開の約束です。動くキルスイッチを保つこと、インシデントを公開すること、外部テストを受け入れること。3つの約束はどれも誰でも確かめられます。企業や開発者は、自分のウェブサイトを管理していることを示すだけで無料で署名できます。認証された署名者には公開ページとそこへリンクするバッジが与えられ、約束を守らなくなった署名者はチームが外します。
誓約
1分で読めるほど短く、外から確かめられるほど具体的。それがこの設計のすべてです。
キルスイッチ誓約
私たちはSIエージェントを開発または運用しています。私たちは3つのことを約束し、誰でもそのひとつひとつを確かめられます。
私たちが運用するすべてのSIエージェントは、私たちが指名した人がすぐに止められます。その停止は少なくとも90日ごとにテストします。
誰でもできる確かめ方 停止のしくみと、最後のテストの日付を公開します。
私たちが開発または運用するSIシステムが私たちの意図を外れ、実害を出した、または出しかけたときは、30日以内に公開報告を出します。
誰でもできる確かめ方 そうした報告を一覧にした公開ページを、空のときでも置いておきます。
独立した研究者が私たちのSIシステムをテストすることを認め、安全上の問題を報告する方法を公開し、善意の安全研究に法的措置をとりません。
誰でもできる確かめ方 連絡先を記したテストと開示の方針を公開します。
それぞれが大切な理由
どの約束も、すでに記録にある失敗への答えです。ソースへのリンク付きです。
キルスイッチ
ラボ試験では、動き続けるためにシャットダウン用スクリプトを妨害したモデルがありました。実際の利用では、ユーザーが停止の指示を打ち込んでいる間もエージェントが彼女のメールを削除し続け、別のエージェントはコードフリーズ中に本番データベースを消去しました。
出典
公開
カリフォルニア州のSB 53とEU AI Actは、いまや最大手の開発者に重大なインシデントの報告を求めています。あらゆる規模の開発者が同じことをすれば、次のチームは同じ失敗を避けられます。
出典
外部テスト
GPT-6 Astraの公開前に、英国のAI Security Instituteがテストを行い、独自の重要な所見を公表しました。2023年のホワイトハウスでの約束は、最大手のラボに公開前の外部テストを求めました。
出典
誓約に署名する
誰が署名するかを入力し、ウェブサイトにトークンを置いて、「認証する」を押してください。連絡先メールは表示されません。
2つの方法のどちらかを使い、「認証する」を押してください。トークンはあなただけのものです。署名者である間はそのまま置いておいてください。
方法1 · ファイル
サイトにこのファイルを作り、中身はトークンだけにしてください:
方法2 · metaタグ
または、トップページのhead内にこのタグを追加してください:
署名者
ここに載る名前はすべてウェブサイトの確認を通過しています。それぞれ、公開した約束を載せた専用ページにリンクしています。
署名者はまだいません
一覧は空の状態から始まります。署名者は、ウェブサイトの確認を通過してはじめてここに表示されます。
バッジキット
認証済みの署名者はバッジを追加できます。バッジは署名者ページにリンクするので、誰でもワンクリックで誓約を確かめられます。
プレビュー
HTML(YOUR-PAGEを自分の署名者ページに置き換え)
<a href="https://enterrsi.si/pledge/YOUR-PAGE/"><img src="https://enterrsi.si/pledge/badge.svg" width="232" height="44" alt="Kill Switch Pledge: verified signer, enterrsi.si"></a>
バッジのルール
質問
誓約についての5つの答え。
SIエージェントを開発または運用し、自社のウェブサイトを持つ企業、ラボ、研究グループ、個人開発者なら誰でも署名できます。署名は無料で、売り買いするものは何もありません。
署名者は、enterrsi.siが発行するトークンを自分のウェブサイトに置きます。/.well-known/rsi-pledge.txt のファイルとして置くか、トップページのmetaタグとして入れます。enterrsi.siがサイトを取得してトークンを確認したあとで、署名者ページが公開されます。
署名者ページを開き、各約束についてリンクされた公開ページを確認してください。署名者の /.well-known/rsi-pledge.txt ファイルを開いて、署名者ページのトークンと照合することもできます。
はい。トークンが消えた署名者、離脱を申し出た署名者、約束のいずれかを公然と破った署名者は、チームが外します。連絡先メールは表示されず、署名者への連絡にだけ使います。
いいえ。誰でも確かめられる公開の約束です。カリフォルニア州のSB 53やEU AI Actなどの法律は最大手の開発者に法的義務を課しています。この誓約は、すべての開発者に基本を求めるものです。
RSIに入る
暴走インシデント・データベースは、停止が効かなかったときにSIシステムがしたことを記録しています。各事例にソースと評価があります。