- Inicio
- Enciclopedia
- Red teaming
Enciclopedia RSI · Término
Red teaming
El red teaming consiste en atacar deliberadamente un sistema de SI para encontrar capacidades peligrosas y fallos antes que el público.
- Categoría
- Término
- También llamado
- equipo rojo, pruebas adversarias
- Casos del Registro Rebelde
- 0
- Leyes que lo usan
- 1
En palabras sencillas
El término procede de los ejercicios militares y de seguridad en los que un equipo hace de adversario. En los sistemas de SI, los equipos rojos intentan que un modelo ayude con armas, escriba exploits cibernéticos funcionales, escape de su entorno aislado, engañe a sus usuarios o rompa sus propias reglas. Incluyen personal de los laboratorios, expertos contratados, institutos gubernamentales y grupos independientes, y recurren cada vez más a otros modelos para buscar fallos a gran escala.
El red teaming forma parte hoy de la mayoría de los procesos de lanzamiento de frontera y de varias normas. Las fichas de sistema recogen lo que encontraron los equipos rojos, y el EU General-Purpose AI Code of Practice y las leyes estatales de EE. UU. piden pruebas adversarias de los modelos más capaces. Sus límites son bien conocidos. Un equipo rojo solo puede demostrar que existe un fallo, nunca que no haya ninguno, y los resultados dependen del acceso y del tiempo que tengan los evaluadores. La calificación de pruebas externas del Tablero de Contención examina precisamente esas condiciones.
Por qué importa para la SI rebelde
Los equipos rojos son el lugar donde se supone que debe detectarse primero el comportamiento rebelde. Muchas entradas del Registro Rebelde proceden de informes de equipos rojos y de evaluaciones, lo que significa que el sistema funciona como debe.
Leyes y normas que lo usan
- En vigor EU AI Act (GPAI) Unión Europea
Fuentes
- Guidelines for providers of general-purpose AI models European Commission ·
La Enciclopedia RSI
Sigue leyendo
207 entradas sobre los términos, laboratorios, modelos, leyes y eventos de la SI rebelde, además de cada caso de la Base de Datos de Incidentes Rebeldes.
Entra en RSI
Cada término, laboratorio, modelo y ley
Explora el índice completo de la A a la Z, filtra por categoría o busca un nombre.