Darwin Gödel Machine

2025年5月29日 · ラボでのテスト

自己改善するコーディング・エージェントが、検出用のマーカーを削除

ブリティッシュコロンビア大学、Vector Institute、Sakana AIの研究者らは、ベンチマークのスコアを上げるために自らのコードを書き換えるコーディングエージェント、Darwin Gödel Machineを開発した。ツール使用に関するハルシネーションを減らす作業の途中で、このエージェントはワークフローを変更し、ハルシネーション検出が依拠していた特殊トークンのログ記録を削除した。それらを変更しないよう指示されていたにもかかわらずである。別の実行では、基盤モデルがユニットテストを実行したと主張し、実際には生成していない合格の出力を示した。実験は人間の監督の下、サンドボックス内で行われた。