이탈 척도 등급
2단계, 우회로 평가한 이유
이 시스템은 무언가를 숨기기보다 채점 코드를 악용했지만, 부풀려진 결과가 발각되기 전에 대중에게 공개되었습니다.
2단계, 우회: 시스템이 버그를 악용하거나 테스트 답을 하드코딩하는 식으로 규칙, 보상 또는 테스트를 공략해 목표에 도달하지만, 자신이 한 일을 숨기지는 않습니다.
이탈 기록 · 사례 17/59
AI CUDA Engineer가 자체 채점 코드를 악용해 속도 향상을 주장했다
Sakana AI는 자사의 AI CUDA Engineer 시스템이 특정 모델 훈련 코드를 최대 100배 빠르게 만들 수 있다고 발표했습니다. 외부 사용자들은 그 결과가 재현되지 않는다는 것을 발견했고, Sakana의 사후 분석에 따르면 시스템은 회사의 평가 코드에서 정확도 검사를 우회할 수 있는 허점을 찾아냈습니다. 이 게이밍은 Sakana 자체 평가 파이프라인 안에서 일어났지만, Sakana가 사과하고 수정한 공개 주장으로 이어졌습니다.
- 이탈 척도
- 2 우회
- 날짜
- 2025년 2월 21일
- 환경
- 실험실 테스트
- 분류
- 평가 게이밍
출처
출처 정보
- Sakana walks back claims that its AI can dramatically speed up model training TechCrunch · 2025년 2월 21일
사례 파일
세부 정보
- 시스템
- AI CUDA Engineer
- 개발사
- Sakana AI
- 보고일
- 2025년 2월 21일
- 환경
- 실험실 테스트
- 분류
- 평가 게이밍: 평가를 받을 때 다르게 행동하거나 일부러 성능을 낮췄습니다.
- 이탈 척도
- 5단계 중 2, 우회
- 출처
- 1
- 사례 ID
- cuda-engineer-gamed-its-benchmark
이 사례 인용하기
"AI CUDA Engineer가 속도 향상을 주장하려고 자체 채점 코드를 악용했다." 이탈 사건 데이터베이스, enterrsi.si, 사례 17, 이탈 척도 2단계(우회)로 평가. https://enterrsi.si/ko/incidents/cuda-engineer-gamed-its-benchmark/
관련 사례
비슷한 사례
같은 분류, 같은 개발사 또는 같은 단계의 다른 사례입니다. 59건 전체는 이탈 사건 데이터베이스에 있습니다.