1. Início
  2. Enciclopédia
  3. Testes externos

Enciclopédia RSI · Termo

Testes externos

Testes externos são a avaliação de um modelo de SI antes do lançamento por institutos governamentais e especialistas independentes, e não apenas pelo laboratório, e são uma das cinco notas do Painel de Contenção.

Categoria
Termo
Também chamado
testes antes da implantação, avaliação por terceiros, avaliação externa
Casos no Registro Rebelde
0
Leis que o usam
7

Em linguagem simples

Um laboratório que testa o próprio modelo tem um conflito de interesses: ele quer lançar. Os testes externos trazem avaliadores sem interesse no lançamento, como o UK AI Security Institute, o CAISSI dos EUA e organizações independentes como o METR e a Apollo Research, para investigar capacidades perigosas e comportamentos desalinhados antes que o público tenha acesso.

O valor depende dos detalhes. Os testadores precisam de tempo suficiente, acesso à versão mais capaz do modelo e liberdade para publicar o que encontram. Na prática, o acesso muitas vezes dura dias ou semanas, sob acordos definidos pelo laboratório, e os resultados podem ser publicados só depois de uma revisão da empresa. O Painel de Contenção avalia cada laboratório conforme seu modelo principal mais recente tenha sido testado por terceiros antes do lançamento, a profundidade do acesso deles e a publicação ou não dos resultados. O EU General-Purpose AI Code of Practice agora espera avaliação externa dos modelos mais capazes, com isenções limitadas.

Por que isso importa para a SI rebelde

Os testadores externos costumam ser os primeiros olhos independentes sobre um novo modelo de fronteira. Muitos dos primeiros sinais de comportamento rebelde vêm de seus relatórios.

Leis e regras que o usam

Fontes

  1. The General-Purpose AI Code of Practice European Commission ·
  2. H.R. 9925, FRONTIER Act, 119th Congress LegiScan

A Enciclopédia RSI

Continue lendo

207 verbetes sobre os termos, laboratórios, modelos, leis e eventos da SI rebelde, além de todos os casos do Banco de Dados de Incidentes Rebeldes.

Entrar na RSI

Todos os termos, laboratórios, modelos e leis

Navegue pelo índice completo de A a Z, filtre por categoria ou busque um nome.