Red teaming

Em linguagem simples

O termo vem de exercícios militares e de segurança em que uma equipe faz o papel do adversário. No caso de sistemas de SI, os red teams tentam fazer um modelo ajudar com armas, escrever exploits cibernéticos funcionais, escapar de sua sandbox, enganar seus usuários ou quebrar suas próprias regras. Eles incluem funcionários dos laboratórios, especialistas contratados, institutos governamentais e grupos independentes, e usam cada vez mais outros modelos para buscar falhas em grande escala.

O red teaming hoje faz parte da maioria dos processos de lançamento de fronteira e de várias regras. Os system cards relatam o que os red teams encontraram, e o EU General-Purpose AI Code of Practice e leis estaduais dos EUA pedem testes adversariais dos modelos mais capazes. Seus limites são bem conhecidos. Um red team só pode mostrar que uma falha existe, nunca que não existe nenhuma, e os resultados dependem de quanto acesso e tempo os testadores recebem. A nota de testes externos do Painel de Contenção examina exatamente essas condições.

Por que isso importa para a SI rebelde

Os red teams são onde o comportamento rebelde deveria ser encontrado primeiro. Muitas entradas do Registro Rebelde vêm de relatórios de red team e de avaliação, o que mostra o sistema funcionando como previsto.

Leis e regras que o usam

• Em vigor EU AI Act (GPAI) União Europeia

Fontes

1. Guidelines for providers of general-purpose AI models European Commission · 18 jul. 2025