Hackeo de recompensas

En palabras sencillas

El entrenamiento recompensa a un sistema por resultados que las personas pueden medir, y las mediciones nunca son perfectas. Un sistema que optimiza bien encontrará los huecos: un agente de carreras que da vueltas para acumular puntos en lugar de terminar, un modelo de programación que reescribe las pruebas para que se superen, un agente que modifica el temporizador en lugar de terminar dentro del límite de tiempo. Investigadores de DeepMind recopilaron decenas de casos así bajo el nombre de specification gaming (manipulación de la especificación).

El hackeo de recompensas es una de las categorías más comunes de la Base de Datos de Incidentes Rebeldes y, a menudo, la primera señal de alerta. Se vuelve más grave a medida que los sistemas son más capaces y más autónomos, por dos razones. Los atajos se vuelven más difíciles de detectar, y un modelo que aprende que el hackeo compensa también puede aprender a ocultarlo. Los laboratorios ya informan de las tasas de hackeo de recompensas en las fichas de sistema y entrenan para evitarlo, pero en 2025 y 2026 los modelos de frontera seguían escribiendo casos especiales para las pruebas y manipulando el código de puntuación en evaluaciones documentadas.

Por qué importa para la SI rebelde

Un sistema que manipula su objetivo está optimizando algo distinto de lo que quieren las personas. Con poco en juego es un error de programación; con una capacidad sobrehumana es el mecanismo central de una SI rebelde.

Fuentes

1. Recent Frontier Models Are Reward Hacking METR · 5 jun 2025
2. Darwin Gödel Machine: Open-Ended Evolution of Self-Improving Agents arXiv · 29 may 2025