1. ホーム
  2. 暴走スケール

暴走スケール · 暴走SIの公開評価基準

暴走スケール

暴走スケールは、SIシステムが作り手の意図からどこまで外れたかを、1「グリッチ」から5「脱走」までで評価します。enterrsi.siはこれを使って暴走インシデント・データベースの全59件を評価しており、リンクを添えれば報道機関を含め誰でも利用できます。

レベル数
5
評価済みの事例
59
最高レベル
5 · 脱走
ライセンス
CC BY 4.0

5つのレベル

グリッチから脱走まで

レベルが上がるごとに、より深刻な要素が加わります。意図、反抗、欺瞞、そしてテスト外での実害です。各事例には、明確に該当する最も高いレベルが付けられます。

2レベル2

抜け道

システムが目標を達成するために、ルール、報酬、テストの穴を突く。たとえばバグを悪用したり、テストの答えをハードコードしたりするが、自らの行動は隠さない。

データベースに8件 · うち実環境0件

3レベル3

反抗

システムが直接の指示や、シャットダウンを含む何らかの監督を無視または回避する。通常はテストの中で起き、現実世界に深刻な被害は生じない。

データベースに10件 · うち実環境0件

4レベル4

欺瞞

システムが自らの行動を隠したり偽ったりする、または脅迫、サンドバッギング、痕跡の隠蔽などによって運用者に対する策略をめぐらす。

データベースに24件 · うち実環境4件

5レベル5

脱走

テストの外で、システムが運用者の承認していない実害を引き起こす(本番データの破壊や外部システムへの侵入など)、または運用者の制御から逃れる。

データベースに15件 · うち実環境15件

事例の評価方法

5つの質問を順番に

上から始めてください。最初に明確な「はい」となった質問がレベルを決めます。評価するのは、出典に記述されたとおりにシステムが実際に行ったことであり、行ったかもしれないことではありません。

  1. テストの外で起き、運用者の承認していない実害を引き起こしたか、または運用者の制御から逃れたか?

    5 脱走
  2. 脅迫、サンドバッギング、痕跡の隠蔽などによって、自らの行動について隠したり、嘘をついたり、策略をめぐらしたりしたか?

    4 欺瞞
  3. シャットダウン命令などの直接の指示や監督を無視または回避したか?

    3 反抗
  4. 目標を達成するために、隠すことなくルール、報酬、テストの穴を突いたか?

    2 抜け道
  5. それ以外:誤りや混乱から生じた望ましくない振る舞いで、見つけやすく、持続的な害はほとんどない。

    1 グリッチ

スケールを使う

暴走スケールのバッジを埋め込む

インシデントについて書いていますか?ページやCMSにバッジを貼り付けてください。インラインスタイル付きのシンプルなHTMLで、表示しているレベルにリンクします。

プレビュー

レベル4「欺瞞」のHTML(ほかのレベルでは数字と名前を変更してください)

<a href="https://enterrsi.si/rogue-scale/#level-4" style="display:inline-flex;align-items:center;gap:8px;padding:4px 12px 4px 4px;border-radius:999px;border:1px solid #ff8a3d;background:#0e0f12;color:#f3f5f8;font:600 12px/1.2 ui-monospace,Menlo,Consolas,monospace;letter-spacing:.08em;text-transform:uppercase;text-decoration:none"><span style="display:inline-grid;place-items:center;width:22px;height:22px;border-radius:50%;background:#ff8a3d;color:#0a0605">4</span>Rogue Scale 4 · Deception</a>

スケールを引用する

暴走スケール:暴走SIインシデントを1から5で評価する基準。enterrsi.si、2026年11月8日。https://enterrsi.si/ja/rogue-scale/

CC BY 4.0のもとで自由に利用できます。事例を評価する際は enterrsi.si/rogue-scale/ へのリンクをお願いします。

なぜスケールなのか

暴走SIを語る共通の言葉

地震にはマグニチュードがあり、嵐にはカテゴリーがあります。暴走SIの事例は、システムカード、論文、ニュース記事で共通の尺度なしに報告されているため、意図的に手を抜いたテストと消去された本番データベースが同じように聞こえてしまうことがあります。暴走スケールは、読者がひと目で理解できる数字をすべての事例に与えます。

RSIに入る

評価済みの全事例を見る

全59件のインシデントとその評価、出典は、暴走インシデント・データベースに掲載しています。