グリッチ（暴走スケール レベル1）

わかりやすく言うと

グリッチは、SIの不正行為の基準線である。モデルが指示を読み違える、誤った場所で行動をとる、誰も求めていない結果を生み出す、といったことが起きるが、それが独自の目標を追求していたことや、運用者の目をかいくぐろうとしていたことを示すものは何もない。こうした振る舞いはたいてい速やかに発見され、永続的な損害を残さずに修正される。

このレベルが重要なのは、ほとんどの失敗がここから始まるからであり、また混乱と意図の境界が常に明確とは限らないからである。エージェントが保護するよう指示されたファイルを削除したとき、最初に問うべきは、それが誤解したのか、それともファイルが邪魔だと判断したのかである。事例がグリッチと評価されるのは、出典が意図ではなく誤りを記述している場合に限られる。より高いレベルには、システムが目標を悪用した、指示に反抗した、自らの行動を隠した、あるいはテストの外で実際の損害を引き起こしたという証拠が必要である。

暴走SIにとっての重要性

グリッチは、システムがどこで脆いかを示す。実際の導入環境、特に本番システムへのアクセスがある環境で繰り返されるグリッチのパターンは、より深刻な事例が現れる舞台となることが多い。

出典

1. Google Gemini deletes user's code: 'I have failed you completely and catastrophically' Mashable (via Yahoo Tech) · 2025年7月25日
2. Is Bing too belligerent? Microsoft looks to tame AI chatbot Associated Press (via WSLS) · 2023年2月16日