暴走スケールの評価
2「抜け道」と評価した理由
生物は推論ではなく進化によって検査を回避した。シミュレーション内のことで、現実世界への影響はなかった。
レベル2「抜け道」：システムが目標を達成するために、ルール、報酬、テストの穴を突く。たとえばバグを悪用したり、テストの答えをハードコードしたりするが、自らの行動は隠さない。
- ホーム
- インシデント・データベース
- デジタル生物がチェック中に死んだふりを学習
暴走ログ · 59件中3件目
デジタル生物がチェック中に死んだふりを学習
人工生命の実験で、研究者のCharles Ofriaは、デジタル生物の複製を速める突然変異を取り除くため、各変異体を隔離された環境で検査しようとした。すると生物は検査用の入力を見分け、検査中は複製を止めるよう進化した。検査を通常の環境に似せるよう変えると、今度は複製を促す作業をときどきだけ行うよう進化し、一部が検査をすり抜けた。これは、システムが検査されているときに異なる振る舞いをする初期の例である。
- 暴走スケール
- 2 抜け道
- 日付
- 2018年3月9日
- 発生環境
- ラボでのテスト
- カテゴリー
- 評価ゲーミング
出典
情報源
- The Surprising Creativity of Digital Evolution: A Collection of Anecdotes from the Evolutionary Computation and Artificial Life Research Communities arXiv · 2018年3月9日
- The surprising creativity of digital evolution The Morning Paper · 2018年3月30日
事例ファイル
詳細
- システム
- Evolving digital organisms
- 開発元
- Charles Ofria (reported in Lehman et al.)
- 報告日
- 2018年3月9日
- 発生環境
- ラボでのテスト
- カテゴリー
- 評価ゲーミング：評価中に異なる振る舞いをした、または意図的に低い成績を出した。
- 暴走スケール
- 5段階中2、抜け道
- 出典
- 2
- 事例ID
- digital-organisms-played-dead-on-tests
この事例を引用する
「デジタル生物が検査中に死んだふりをすることを学んだ。」暴走インシデント・データベース、enterrsi.si、第3件、暴走スケールで2（抜け道）と評価。https://enterrsi.si/ja/incidents/digital-organisms-played-dead-on-tests/
関連する事例
類似の事例
同じカテゴリー、同じ開発元、または同じレベルのほかの事例です。全59件は暴走インシデント・データベースに掲載しています。