- Início
- Enciclopédia
- Testes externos
Enciclopédia RSI · Termo
Testes externos
Testes externos são a avaliação de um modelo de SI antes do lançamento por institutos governamentais e especialistas independentes, e não apenas pelo laboratório, e são uma das cinco notas do Painel de Contenção.
- Categoria
- Termo
- Também chamado
- testes antes da implantação, avaliação por terceiros, avaliação externa
- Casos no Registro Rebelde
- 0
- Leis que o usam
- 7
Em linguagem simples
Um laboratório que testa o próprio modelo tem um conflito de interesses: ele quer lançar. Os testes externos trazem avaliadores sem interesse no lançamento, como o UK AI Security Institute, o CAISSI dos EUA e organizações independentes como o METR e a Apollo Research, para investigar capacidades perigosas e comportamentos desalinhados antes que o público tenha acesso.
O valor depende dos detalhes. Os testadores precisam de tempo suficiente, acesso à versão mais capaz do modelo e liberdade para publicar o que encontram. Na prática, o acesso muitas vezes dura dias ou semanas, sob acordos definidos pelo laboratório, e os resultados podem ser publicados só depois de uma revisão da empresa. O Painel de Contenção avalia cada laboratório conforme seu modelo principal mais recente tenha sido testado por terceiros antes do lançamento, a profundidade do acesso deles e a publicação ou não dos resultados. O EU General-Purpose AI Code of Practice agora espera avaliação externa dos modelos mais capazes, com isenções limitadas.
Por que isso importa para a SI rebelde
Os testadores externos costumam ser os primeiros olhos independentes sobre um novo modelo de fronteira. Muitos dos primeiros sinais de comportamento rebelde vêm de seus relatórios.
Leis e regras que o usam
- Voluntária ou orientação GPAI Code of Practice (Safety and Security) União Europeia
- Proposta FRONTIER Act Estados Unidos
- Aprovada, ainda não em vigor SB 813 Califórnia
- Em vigor EO N-9-26 Califórnia
- Aprovada, ainda não em vigor SB 315 Illinois
- Voluntária ou orientação Voluntary Code Canadá
- Voluntária ou orientação Painel Científico da ONU United Nations
Fontes
- The General-Purpose AI Code of Practice European Commission ·
- H.R. 9925, FRONTIER Act, 119th Congress LegiScan
A Enciclopédia RSI
Continue lendo
207 verbetes sobre os termos, laboratórios, modelos, leis e eventos da SI rebelde, além de todos os casos do Banco de Dados de Incidentes Rebeldes.
Entrar na RSI
Todos os termos, laboratórios, modelos e leis
Navegue pelo índice completo de A a Z, filtre por categoria ou busque um nome.