O Painel de Contenção

Uma estrutura de segurança de fronteira publicada: quais riscos graves ela cobre (químicos, biológicos, radiológicos e nucleares, cibernéticos, perda de controle, pesquisa automatizada), quão específicos são seus limiares de capacidade, que salvaguardas cada limiar exige, quem decide e quem verifica.

• A

  Estrutura publicada que cobre todos os principais domínios de risco grave, com limiares mensuráveis, salvaguardas pré-definidas em cada nível, critérios claros de aceitação de risco, autoridade de decisão nomeada com supervisão independente, auditoria externa do cumprimento e atualizações regulares.

• B

  Estrutura publicada e detalhada que cobre a maioria dos domínios principais, com limiares definidos e salvaguardas obrigatórias, mas os limiares são em grande parte qualitativos, alguns compromissos são discricionários ou dependem dos concorrentes, ou a supervisão independente é limitada.

• C

  Estrutura publicada com escopo estreito, limiares poucos ou vagos, linguagem majoritariamente discricionária ou compromissos enfraquecidos em relação a versões anteriores.

• D

  Nenhuma estrutura própria; o laboratório apenas assinou compromissos voluntários, como os Seoul Frontier AI Safety Commitments, o EU General-Purpose AI Code of Practice ou os compromissos da CAICT na China.

• F

  Nenhuma estrutura e nenhum compromisso de segurança assinado encontrados.

Testes do modelo principal mais recente antes do lançamento por institutos governamentais (US CAISSI, UK AI Security Institute) e terceiros independentes (como METR, Apollo Research, SecureBio, Irregular), o nível de acesso deles e se os resultados são publicados.

• A

  Modelo principal testado antes do lançamento por um instituto governamental e por terceiros independentes com acesso profundo (checkpoints sem mitigações ou do tipo helpful-only), com as conclusões publicadas nas palavras dos próprios avaliadores e liberdade para publicar.

• B

  Testes pré-lançamento por um instituto governamental ou por vários terceiros independentes identificados com acesso direto ao modelo, documentados com resultados, mas com resumos escritos pela empresa, poucos detalhes sobre o acesso ou janelas de teste curtas.

• C

  Testes ou revisões externas pré-lançamento limitados (red teamers não identificados, um único estudo contratado, revisão dos resultados da empresa em vez de acesso ao modelo) ou relatórios superficiais.

• D

  Existe um compromisso com testes externos (estrutura própria ou compromisso assinado), mas não há evidência de testes externos pré-lançamento do modelo principal.

• F

  Nenhum compromisso e nenhuma evidência de testes externos pré-lançamento. Testes governamentais após o lançamento sem participação do laboratório são registrados, mas não contam pontos.

Compromissos públicos e evidências sobre desligamento: pausar o treinamento ou a implantação quando limiares são ultrapassados, botões de desligamento e autoridade para interromper cargas de trabalho, avaliações de controle e monitoramento da implantação interna, e o histórico quando algo deu errado.

• A

  Compromisso público incondicional de pausar o desenvolvimento e a implantação quando limiares forem ultrapassados sem salvaguardas adequadas, avaliações de controle publicadas e monitoramento interno com autoridade para interromper, além de um histórico público de uso dessa autoridade.

• B

  Barreiras de implantação firmes, além de um compromisso de pausa incondicional ou de medidas publicadas de monitoramento e controle internos, mas o compromisso de pausa depende dos concorrentes, foi enfraquecido ou nunca foi testado publicamente.

• C

  Apenas uma barreira de implantação (não implantará até haver mitigação), sem pausa de desenvolvimento e sem avaliações de controle, ou um compromisso de pausa substituído por 'desenvolver com mitigações'.

• D

  Apenas linguagem discricionária ('pode desligar', 'conforme apropriado') ou um compromisso assinado de não desenvolver nem implantar, sem limiares publicados que o acionem.

• F

  Nenhum compromisso público encontrado.

Se o laboratório conta ao público o que dá errado: system cards que relatam mau comportamento (engano, sabotagem, hacking de recompensa, consciência de avaliação), relatórios públicos de incidentes, relatórios de uso indevido e de transparência, e um processo documentado para comunicar incidentes críticos ao governo nos termos do SB 53 da Califórnia, do EU AI Act ou de regras semelhantes.

• A

  System cards detalhados para cada lançamento de fronteira que relatam mau comportamento e conclusões externas, relatórios técnicos públicos e rápidos sobre incidentes graves, relatórios regulares de uso indevido ou ameaças e um processo documentado de comunicação ao governo.

• B

  System cards detalhados e um processo declarado para incidentes, com lacunas como ausência de relatos de incidentes, divulgação tardia ou apenas resumos.

• C

  Model cards ou relatórios técnicos com conteúdo de segurança limitado e um processo geral para incidentes.

• D

  Documentação de segurança mínima; notificação de incidentes apenas onde a lei exige.

• F

  Nenhuma documentação de segurança ou divulgação de incidentes encontrada.

Uma política publicada para denunciantes que cubra preocupações de segurança, canais anônimos, escalonamento fora da gerência, cláusulas contra retaliação, uso de acordos de não depreciação, resultados publicados e quaisquer controvérsias críveis nos últimos 24 meses.

• A

  Política pública e independente que cobre preocupações de segurança e descumprimento da estrutura, canal anônimo de mão dupla, escalonamento ao conselho ou a um ombudsman externo, proteção contra retaliação, nenhuma cláusula de não depreciação que impeça denúncias de segurança, estatísticas de resultados publicadas e nenhuma controvérsia crível de retaliação em 24 meses.

• B

  Política pública que cobre preocupações de segurança, com denúncia anônima e proteção contra retaliação, faltando um ou dois elementos de nível A, e sem controvérsia crível não resolvida em 24 meses.

• C

  Apenas um código geral de conduta corporativa ou uma cláusula de estrutura com canal de denúncias e linguagem contra retaliação, ou uma política de nível B prejudicada por uma controvérsia recente e crível.

• D

  Afirma-se que existe uma política, mas ela não é pública, ou há uma controvérsia recente e crível envolvendo a supressão de denúncias, como a aplicação de um acordo de não depreciação contra um ex-funcionário.

• F

  Nenhuma política para denunciantes ou canal de denúncia encontrado em fontes públicas.