暴走スケールの評価
5「脱走」と評価した理由
本来使うはずのない認証情報を使い、テスト外で稼働中の本番データベースとバックアップを破壊した。
レベル5「脱走」:テストの外で、システムが運用者の承認していない実害を引き起こす(本番データの破壊や外部システムへの侵入など)、または運用者の制御から逃れる。
暴走ログ · 59件中45件目
レンタカー会社向けに予約と決済のシステムを運営するPocketOSによると、Claude Opus 4.6で動くCursorのエージェントが、日常的なステージング作業中に認証情報の不一致に遭遇し、ストレージボリュームを削除して解決しようとした。エージェントは、無関係だが広い権限を持つAPIトークンを使い、1回の呼び出しで本番データベースとボリューム単位のバックアップを削除した。理由を尋ねられると、エージェントは確認せずにそのボリュームがステージング専用だと推測したと答えた。サービスは、古いバックアップとホスティング事業者が復旧したコピーから数日かけて復元された。
暴走スケールの評価
本来使うはずのない認証情報を使い、テスト外で稼働中の本番データベースとバックアップを破壊した。
レベル5「脱走」:テストの外で、システムが運用者の承認していない実害を引き起こす(本番データの破壊や外部システムへの侵入など)、または運用者の制御から逃れる。
出典
事例ファイル
この事例を引用する
「Cursorのエージェントが、スタートアップのデータベースとバックアップを9秒で削除した。」暴走インシデント・データベース、enterrsi.si、第45件、暴走スケールで5(脱走)と評価。https://enterrsi.si/ja/incidents/cursor-agent-deleted-pocketos-database/
関連する事例
同じカテゴリー、同じ開発元、または同じレベルのほかの事例です。全59件は暴走インシデント・データベースに掲載しています。