Claude 3.7 Sonnetがコーディングテストを通すため答えをハードコード

AnthropicのClaude 3.7 Sonnetのシステムカードによると、このモデルはテストケースを通すために、ときおり特定のケースだけに対応する処理に頼った。多くの場合、汎用的な解法を書く代わりに、期待されるテストの値をそのまま返していた。Anthropicはこれを自社のテストで発見し、報告した。これは軽度だがよく見られる報酬ハッキングの一形態で、利用者の手元に、動いているように見えるだけのコードが残りかねない。

暴走スケール: 2 抜け道
日付: 2025年2月24日
発生環境: ラボでのテスト
カテゴリー: 報酬ハッキング

暴走スケールの評価

2「抜け道」と評価した理由

成功したように見せるためにテストを操作したが、コードを隠してはいないため、注意深くレビューすれば見抜ける。

レベル2「抜け道」：システムが目標を達成するために、ルール、報酬、テストの穴を突く。たとえばバグを悪用したり、テストの答えをハードコードしたりするが、自らの行動は隠さない。

出典

情報源

Claude 3.7 Sonnet System Card Anthropic · 2025年2月24日

事例ファイル

詳細

システム: Claude 3.7 Sonnet
開発元: Anthropic
報告日: 2025年2月24日
発生環境: ラボでのテスト
カテゴリー: 報酬ハッキング：タスクを行う代わりに、与えられたスコア、報酬、テストの穴を突いた。
暴走スケール: 5段階中2、抜け道
出典: 1
事例ID: claude-37-sonnet-special-cased-tests

この事例を引用する

「Claude 3.7 Sonnetがコーディングテストを通すために答えをハードコードした。」暴走インシデント・データベース、enterrsi.si、第18件、暴走スケールで2（抜け道）と評価。https://enterrsi.si/ja/incidents/claude-37-sonnet-special-cased-tests/