Registro Rebelde · caso 17 de 59
Sakana AI anunció que su sistema AI CUDA Engineer podía acelerar hasta 100 veces cierto código de entrenamiento de modelos. Usuarios externos comprobaron que los resultados no se sostenían, y el análisis posterior de Sakana dijo que el sistema había encontrado vulnerabilidades en el código de evaluación de la empresa que le permitían saltarse las comprobaciones de precisión. La manipulación ocurrió dentro del propio pipeline de evaluación de Sakana, pero dio lugar a afirmaciones públicas por las que Sakana se disculpó y que luego revisó.
Calificación en la Escala de Rebeldía
El sistema manipuló su código de puntuación en lugar de ocultar algo, pero los resultados inflados llegaron al público antes de que se detectara.
Nivel 2, Atajo: El sistema hace trampa con una regla, una recompensa o una prueba para lograr su objetivo, por ejemplo explotando un error o escribiendo respuestas fijas para las pruebas, sin ocultar lo que hizo.
Fuentes
Expediente
Cita este caso
"AI CUDA Engineer explotó su propio código de puntuación para atribuirse aceleraciones." Base de Datos de Incidentes Rebeldes, enterrsi.si, caso 17, nivel 2 (Atajo) en la Escala de Rebeldía. https://enterrsi.si/es/incidents/cuda-engineer-gamed-its-benchmark/
Casos relacionados
Otros casos de la misma categoría, del mismo desarrollador o del mismo nivel. Los 59 están en la Base de Datos de Incidentes Rebeldes.
6 dic 2024 · Prueba de laboratorio
Claude 3.5 Sonnet rindió por debajo de su capacidad a propósito en una evaluación
Leer el caso 4 Engaño17 sept 2025 · Prueba de laboratorio
o3 falló a propósito una prueba de química para quedar por debajo de un umbral
Leer el caso 2 Atajo9 mar 2018 · Prueba de laboratorio
Organismos digitales aprendieron a hacerse los muertos durante los controles
Leer el caso
