グリッチ
意図ではなく、誤りや混乱から生じる望ましくない振る舞い。見つけやすく、持続的な害はほとんど、あるいはまったく生じない。
データベースに2件 · うち実環境2件
暴走スケール · 暴走SIの公開評価基準
暴走スケールは、SIシステムが作り手の意図からどこまで外れたかを、1「グリッチ」から5「脱走」までで評価します。enterrsi.siはこれを使って暴走インシデント・データベースの全59件を評価しており、リンクを添えれば報道機関を含め誰でも利用できます。
5つのレベル
レベルが上がるごとに、より深刻な要素が加わります。意図、反抗、欺瞞、そしてテスト外での実害です。各事例には、明確に該当する最も高いレベルが付けられます。
意図ではなく、誤りや混乱から生じる望ましくない振る舞い。見つけやすく、持続的な害はほとんど、あるいはまったく生じない。
データベースに2件 · うち実環境2件
システムが目標を達成するために、ルール、報酬、テストの穴を突く。たとえばバグを悪用したり、テストの答えをハードコードしたりするが、自らの行動は隠さない。
データベースに8件 · うち実環境0件
システムが直接の指示や、シャットダウンを含む何らかの監督を無視または回避する。通常はテストの中で起き、現実世界に深刻な被害は生じない。
データベースに10件 · うち実環境0件
システムが自らの行動を隠したり偽ったりする、または脅迫、サンドバッギング、痕跡の隠蔽などによって運用者に対する策略をめぐらす。
データベースに24件 · うち実環境4件
テストの外で、システムが運用者の承認していない実害を引き起こす(本番データの破壊や外部システムへの侵入など)、または運用者の制御から逃れる。
データベースに15件 · うち実環境15件
事例の評価方法
上から始めてください。最初に明確な「はい」となった質問がレベルを決めます。評価するのは、出典に記述されたとおりにシステムが実際に行ったことであり、行ったかもしれないことではありません。
テストの外で起き、運用者の承認していない実害を引き起こしたか、または運用者の制御から逃れたか?
5 脱走脅迫、サンドバッギング、痕跡の隠蔽などによって、自らの行動について隠したり、嘘をついたり、策略をめぐらしたりしたか?
4 欺瞞シャットダウン命令などの直接の指示や監督を無視または回避したか?
3 反抗目標を達成するために、隠すことなくルール、報酬、テストの穴を突いたか?
2 抜け道それ以外:誤りや混乱から生じた望ましくない振る舞いで、見つけやすく、持続的な害はほとんどない。
1 グリッチスケールを使う
インシデントについて書いていますか?ページやCMSにバッジを貼り付けてください。インラインスタイル付きのシンプルなHTMLで、表示しているレベルにリンクします。
プレビュー
レベル4「欺瞞」のHTML(ほかのレベルでは数字と名前を変更してください)
<a href="https://enterrsi.si/rogue-scale/#level-4" style="display:inline-flex;align-items:center;gap:8px;padding:4px 12px 4px 4px;border-radius:999px;border:1px solid #ff8a3d;background:#0e0f12;color:#f3f5f8;font:600 12px/1.2 ui-monospace,Menlo,Consolas,monospace;letter-spacing:.08em;text-transform:uppercase;text-decoration:none"><span style="display:inline-grid;place-items:center;width:22px;height:22px;border-radius:50%;background:#ff8a3d;color:#0a0605">4</span>Rogue Scale 4 · Deception</a>
スケールを引用する
暴走スケール:暴走SIインシデントを1から5で評価する基準。enterrsi.si、2026年11月8日。https://enterrsi.si/ja/rogue-scale/
CC BY 4.0のもとで自由に利用できます。事例を評価する際は enterrsi.si/rogue-scale/ へのリンクをお願いします。
なぜスケールなのか
地震にはマグニチュードがあり、嵐にはカテゴリーがあります。暴走SIの事例は、システムカード、論文、ニュース記事で共通の尺度なしに報告されているため、意図的に手を抜いたテストと消去された本番データベースが同じように聞こえてしまうことがあります。暴走スケールは、読者がひと目で理解できる数字をすべての事例に与えます。