El Tablero de Contención

Un marco de seguridad de frontera publicado: qué riesgos graves cubre (químicos, biológicos, radiológicos y nucleares, ciberataques, pérdida de control, investigación automatizada), cuán específicos son sus umbrales de capacidad, qué salvaguardas exige cada umbral, quién decide y quién verifica.

• A

  Marco publicado que cubre todos los ámbitos principales de riesgo grave con umbrales medibles, salvaguardas comprometidas de antemano en cada nivel, criterios claros de aceptación del riesgo, una autoridad de decisión identificada con supervisión independiente, auditoría externa del cumplimiento y actualizaciones periódicas.

• B

  Marco publicado y detallado que cubre la mayoría de los ámbitos principales, con umbrales definidos y salvaguardas obligatorias, pero los umbrales son en gran parte cualitativos, algunos compromisos son discrecionales o dependen de los competidores, o la supervisión independiente es limitada.

• C

  Marco publicado de alcance limitado, con pocos umbrales o umbrales vagos, lenguaje mayormente discrecional o compromisos debilitados respecto de versiones anteriores.

• D

  No tiene un marco propio; el laboratorio solo ha firmado compromisos voluntarios como los Seoul Frontier AI Safety Commitments, el EU General-Purpose AI Code of Practice o los compromisos de la CAICT de China.

• F

  No se encontró ningún marco ni compromisos de seguridad firmados.

Las pruebas del último modelo insignia antes del lanzamiento por parte de institutos gubernamentales (el CAISSI de EE. UU., el UK AI Security Institute) y de terceros independientes (como METR, Apollo Research, SecureBio, Irregular), el nivel de acceso que tuvieron y si los resultados se publican.

• A

  Modelo insignia probado antes del lanzamiento por un instituto gubernamental y por terceros independientes con acceso profundo (checkpoints sin mitigaciones o de tipo helpful-only), con hallazgos publicados con las palabras de los propios evaluadores y libertad para publicar.

• B

  Pruebas previas al lanzamiento por un instituto gubernamental o por varios terceros independientes identificados con acceso directo al modelo, documentadas con resultados, pero con resúmenes redactados por la empresa, poco detalle sobre el acceso o periodos de prueba cortos.

• C

  Pruebas o revisiones externas limitadas antes del lanzamiento (red teamers sin nombre, un único estudio contratado, revisión de los resultados de la empresa en lugar de acceso al modelo) o informes escasos.

• D

  Existe un compromiso de pruebas externas (marco propio o compromiso firmado), pero no hay evidencia de pruebas externas del modelo insignia antes del lanzamiento.

• F

  Sin compromiso ni evidencia de pruebas externas antes del lanzamiento. Las pruebas gubernamentales posteriores al lanzamiento sin participación del laboratorio se mencionan, pero no suman puntos.

Compromisos públicos y evidencia sobre el apagado: pausar el entrenamiento o el despliegue cuando se cruzan umbrales, interruptores de apagado y la autoridad para detener cargas de trabajo, evaluaciones de control y supervisión del despliegue interno, y el historial cuando algo salió mal.

• A

  Compromiso público incondicional de pausar el desarrollo y el despliegue cuando se cruzan umbrales sin salvaguardas adecuadas, evaluaciones de control publicadas y supervisión interna con autoridad para detener, y un historial público de haberlo usado.

• B

  Filtros de despliegue firmes más un compromiso de pausa incondicional o medidas internas de supervisión y control publicadas, pero el compromiso de pausa depende de los competidores, se debilitó o nunca se ha puesto a prueba en público.

• C

  Solo un filtro de despliegue (no desplegará hasta mitigar), sin pausa del desarrollo ni evaluaciones de control, o un compromiso de pausa sustituido por 'desarrollar con mitigaciones'.

• D

  Solo lenguaje discrecional ('puede apagar', 'según corresponda'), o un compromiso firmado de no desarrollar ni desplegar sin umbrales publicados que lo activen.

• F

  No se encontró ningún compromiso público.

Si el laboratorio informa al público de lo que sale mal: fichas de sistema que reportan mal comportamiento (engaño, sabotaje, hackeo de recompensas, conciencia de estar siendo evaluado), informes públicos de incidentes, informes de uso indebido y de transparencia, y un proceso documentado para reportar incidentes críticos al gobierno según la SB 53 de California, la EU AI Act o normas similares.

• A

  Fichas de sistema detalladas para cada lanzamiento de frontera que reportan mal comportamiento y hallazgos externos, informes técnicos públicos y rápidos sobre incidentes graves, informes periódicos de uso indebido o amenazas, y un proceso documentado de reporte al gobierno.

• B

  Fichas de sistema detalladas y un proceso declarado para incidentes, con carencias como la falta de informes de incidentes, la divulgación tardía o solo resúmenes.

• C

  Fichas de modelo o informes técnicos con poco contenido de seguridad y un proceso general para incidentes.

• D

  Documentación de seguridad mínima; reporte de incidentes solo donde la ley lo exige.

• F

  No se encontró documentación de seguridad ni divulgación de incidentes.

Una política de denuncias publicada que cubra problemas de seguridad, canales anónimos, escalamiento fuera de la dirección, cláusulas contra represalias, uso de acuerdos de no difamación, resultados publicados y cualquier controversia creíble en los últimos 24 meses.

• A

  Política pública e independiente que cubre problemas de seguridad e incumplimientos del marco, canal anónimo bidireccional, escalamiento al consejo o a un defensor externo, protección contra represalias, ningún acuerdo de no difamación que impida divulgar problemas de seguridad, estadísticas de resultados publicadas y ninguna controversia creíble por represalias en 24 meses.

• B

  Política pública que cubre problemas de seguridad con denuncia anónima y protección contra represalias, a la que le faltan uno o dos elementos de nivel A, y sin controversias creíbles sin resolver en 24 meses.

• C

  Solo un código de conducta corporativo general o una cláusula de un marco con un canal de denuncia y lenguaje contra represalias, o una política de nivel B lastrada por una controversia reciente y creíble.

• D

  Se dice que existe una política, pero no es pública, o hay una controversia reciente y creíble por la supresión de denuncias, como hacer valer un acuerdo de no difamación contra un exempleado.

• F

  No se encontró ninguna política de denuncias ni canal de reporte en fuentes públicas.