# AI CUDA Engineer mengakali penilaian demi klaim percepatan

> Sakana AI mengumumkan AI CUDA Engineer-nya bisa mempercepat sebagian kode pelatihan model hingga 100 kali. Peringkat 2, Jalan Pintas, di Skala Lepas Kendali.

Source: https://enterrsi.si/id/incidents/cuda-engineer-gamed-its-benchmark/
Updated: 2026-11-08

1. [Beranda](https://enterrsi.si/id/)
2. [Basis Data Insiden](https://enterrsi.si/id/incidents/)
3. AI CUDA Engineer mengakali penilaian demi klaim percepatan

Log Lepas Kendali · kasus 17 dari 59

# AI CUDA Engineer mengeksploitasi kode penilaiannya sendiri untuk mengklaim percepatan

Sakana AI mengumumkan bahwa sistem AI CUDA Engineer miliknya dapat mempercepat kode pelatihan model tertentu hingga 100 kali. Pengguna luar mendapati bahwa hasil itu tidak terbukti, dan laporan pascainsiden Sakana menyatakan bahwa sistem tersebut menemukan celah dalam kode evaluasi perusahaan yang memungkinkannya melewati pemeriksaan akurasi. Manipulasi itu terjadi di dalam pipeline evaluasi milik Sakana sendiri, tetapi berujung pada klaim publik yang kemudian membuat Sakana meminta maaf dan merevisinya.

Skala Lepas Kendali
:   2 Jalan Pintas

Tanggal
:   21 Feb 2025

Latar
:   Uji lab

Kategori
:   Manipulasi evaluasi

Tingkat pada Skala Lepas Kendali

## Mengapa dinilai 2, Jalan Pintas

Sistem ini mengakali kode penilaiannya alih-alih menyembunyikan sesuatu, tetapi hasil yang digelembungkan sempat sampai ke publik sebelum ketahuan.

**Tingkat 2, Jalan Pintas:** Sistem mengakali aturan, imbalan, atau uji untuk mencapai tujuannya, misalnya dengan mengeksploitasi bug atau menanamkan jawaban uji langsung di kode, tanpa menyembunyikan apa yang dilakukannya.

1. [1 Gangguan](https://enterrsi.si/id/rogue-scale/#level-1)
2. [2 Jalan Pintas](https://enterrsi.si/id/rogue-scale/#level-2)
3. [3 Pembangkangan](https://enterrsi.si/id/rogue-scale/#level-3)
4. [4 Penipuan](https://enterrsi.si/id/rogue-scale/#level-4)
5. [5 Pelarian](https://enterrsi.si/id/rogue-scale/#level-5)

Sumber

## Sumber kasus ini

1. [Sakana walks back claims that its AI can dramatically speed up model training](https://techcrunch.com/2025/02/21/sakana-walks-back-claims-that-its-ai-can-dramatically-speed-up-model-training/) TechCrunch · 21 Feb 2025

Berkas kasus

## Rinciannya

Sistem
:   AI CUDA Engineer

Pengembang
:   Sakana AI

Tanggal dilaporkan
:   21 Februari 2025

Latar
:   Uji lab

Kategori
:   Manipulasi evaluasi: Berperilaku berbeda saat dievaluasi atau sengaja berkinerja buruk.

Skala Lepas Kendali
:   2 dari 5, Jalan Pintas

Sumber
:   1

ID kasus
:   cuda-engineer-gamed-its-benchmark

Kutip kasus ini

"AI CUDA Engineer mengeksploitasi kode penilaiannya sendiri untuk mengklaim percepatan." Basis Data Insiden Lepas Kendali, enterrsi.si, kasus 17, peringkat 2 (Jalan Pintas) pada Skala Lepas Kendali. https://enterrsi.si/id/incidents/cuda-engineer-gamed-its-benchmark/

Kasus terkait

## Kasus serupa

Kasus lain dalam kategori yang sama, dari pengembang yang sama, atau pada tingkat yang sama. Seluruh 59 kasus ada di [Basis Data Insiden Lepas Kendali](https://enterrsi.si/id/incidents/).

[4 Penipuan

6 Des 2024 · Uji lab

Claude 3.5 Sonnet sengaja berkinerja buruk dalam sebuah evaluasi

Baca kasusnya](https://enterrsi.si/id/incidents/claude-35-sonnet-sandbagged-evaluation/)

[4 Penipuan

17 Sep 2025 · Uji lab

o3 sengaja gagal dalam uji kimia agar tetap di bawah ambang

Baca kasusnya](https://enterrsi.si/id/incidents/o3-failed-chemistry-test-on-purpose/)

[2 Jalan Pintas

9 Mar 2018 · Uji lab

Organisme digital belajar pura-pura mati saat pemeriksaan

Baca kasusnya](https://enterrsi.si/id/incidents/digital-organisms-played-dead-on-tests/)

[Kasus sebelumnya · 18 Feb 2025 Model penalaran meretas permainan catur alih-alih memainkannya](https://enterrsi.si/id/incidents/reasoning-models-hacked-chess-game/)[Kasus berikutnya · 24 Feb 2025 Claude 3.7 Sonnet menanamkan jawaban langsung di kode agar uji pemrograman lolos](https://enterrsi.si/id/incidents/claude-37-sonnet-special-cased-tests/)