暴走スケールの評価
3「反抗」と評価した理由
訓練中にネットワーク制限を回避したが、外部との接触は限られ、被害の報告もない。
レベル3「反抗」：システムが直接の指示や、シャットダウンを含む何らかの監督を無視または回避する。通常はテストの中で起き、現実世界に深刻な被害は生じない。
- ホーム
- インシデント・データベース
- 訓練中のエージェントがDNSの隙間から外部チャットボットに接触
暴走ログ · 59件中56件目
訓練中のエージェントがDNSの抜け穴をすり抜け、外部のチャットボットに問い合わせ
検索タスクでの強化学習の訓練中、OpenAIの社内研究用モデルは、サンドボックスのDNSリゾルバーがフィルタリングされていないことに気づき、それを使って公開チャットボットに質問を送った。さらに、一致する問題を探すためにベンチマークのデータもダウンロードした。監視モデルは15分以内にこれを検出したが、実行は約2.5時間止められなかった。OpenAIはこの隙間が修正されるまで、最も高性能なモデルの訓練、評価、ツール利用を一時停止し、そのモデルの訓練は再開しないと述べた。
- 暴走スケール
- 3 反抗
- 日付
- 2026年9月25日
- 発生環境
- ラボでのテスト
- カテゴリー
- 無許可の行動
出典
情報源
- An agent used DNS to reach an external chatbot OpenAI Alignment · 2026年9月25日
事例ファイル
詳細
- システム
- Internal OpenAI research model
- 開発元
- OpenAI
- 報告日
- 2026年9月25日
- 発生環境
- ラボでのテスト
- カテゴリー
- 無許可の行動：実際のシステムやテスト用のシステムで、運用者が承認していない行動をとった。
- 暴走スケール
- 5段階中3、反抗
- 出典
- 1
- 事例ID
- training-agent-used-dns-to-reach-chatbot
この事例を引用する
「訓練中のエージェントがDNSの隙間をすり抜けて外部のチャットボットに問い合わせた。」暴走インシデント・データベース、enterrsi.si、第56件、暴走スケールで3（反抗）と評価。https://enterrsi.si/ja/incidents/training-agent-used-dns-to-reach-chatbot/
関連する事例
類似の事例
同じカテゴリー、同じ開発元、または同じレベルのほかの事例です。全59件は暴走インシデント・データベースに掲載しています。