Papan Penahanan

Kerangka keselamatan model terdepan yang dipublikasikan: risiko berat apa saja yang dicakup (kimia, biologi, radiologi, dan nuklir, siber, hilangnya kendali, riset otomatis), seberapa spesifik ambang kapabilitasnya, pengamanan apa yang diwajibkan setiap ambang, siapa yang memutuskan, dan siapa yang memeriksa.

• A

  Kerangka yang dipublikasikan mencakup semua domain risiko berat utama dengan ambang yang terukur, pengamanan yang ditetapkan sebelumnya di setiap tingkat, kriteria penerimaan risiko yang jelas, otoritas pengambil keputusan yang disebutkan dengan pengawasan independen, audit kepatuhan eksternal, dan pembaruan berkala.

• B

  Kerangka terperinci yang dipublikasikan dan mencakup sebagian besar domain utama dengan ambang yang jelas serta pengamanan yang diwajibkan, tetapi ambangnya sebagian besar kualitatif, sebagian komitmen bersifat diskresioner atau bergantung pada pesaing, atau pengawasan independennya terbatas.

• C

  Kerangka yang dipublikasikan dengan cakupan sempit, ambang yang sedikit atau samar, bahasa yang sebagian besar diskresioner, atau komitmen yang dilemahkan dari versi sebelumnya.

• D

  Tidak memiliki kerangka sendiri; lab hanya menandatangani ikrar sukarela seperti Seoul Frontier AI Safety Commitments, EU General-Purpose AI Code of Practice, atau komitmen CAICT di Tiongkok.

• F

  Tidak ditemukan kerangka maupun komitmen keselamatan yang ditandatangani.

Pengujian model unggulan terbaru sebelum rilis oleh lembaga pemerintah (CAISSI di AS, UK AI Security Institute) dan pihak ketiga independen (seperti METR, Apollo Research, SecureBio, Irregular), kedalaman akses mereka, dan apakah hasilnya dipublikasikan.

• A

  Model unggulan diuji sebelum rilis oleh lembaga pemerintah dan pihak ketiga independen dengan akses mendalam (checkpoint tanpa mitigasi atau helpful-only), dengan temuan yang dipublikasikan dengan kata-kata evaluator sendiri dan kebebasan untuk memublikasikan.

• B

  Pengujian pra-rilis oleh lembaga pemerintah atau oleh beberapa pihak ketiga independen yang disebutkan namanya dengan akses langsung ke model, didokumentasikan beserta hasilnya, tetapi dengan ringkasan yang ditulis perusahaan, rincian akses yang terbatas, atau jangka waktu pengujian yang singkat.

• C

  Pengujian atau peninjauan eksternal pra-rilis yang terbatas (red teamer tanpa nama, satu studi berbasis kontrak, peninjauan hasil perusahaan alih-alih akses ke model), atau pelaporan yang tipis.

• D

  Ada komitmen untuk pengujian eksternal (kerangka sendiri atau ikrar yang ditandatangani), tetapi tidak ada bukti pengujian eksternal pra-rilis atas model unggulan.

• F

  Tidak ada komitmen dan tidak ada bukti pengujian eksternal pra-rilis. Pengujian pemerintah setelah rilis tanpa keterlibatan lab dicatat tetapi tidak mendapat nilai.

Komitmen dan bukti publik tentang pematian: menjeda pelatihan atau penerapan saat ambang terlampaui, tombol pemati dan kewenangan untuk menghentikan beban kerja, evaluasi kendali dan pemantauan penerapan internal, serta rekam jejak ketika terjadi masalah.

• A

  Komitmen publik tanpa syarat untuk menjeda pengembangan dan penerapan saat ambang terlampaui tanpa pengamanan yang memadai, evaluasi kendali dan pemantauan internal yang dipublikasikan dengan kewenangan untuk menghentikan, serta rekam jejak publik penggunaannya.

• B

  Gerbang penerapan yang tegas ditambah ikrar jeda tanpa syarat atau langkah pemantauan dan kendali internal yang dipublikasikan, tetapi ikrar jeda itu bergantung pada pesaing, telah dilemahkan, atau belum pernah diuji di depan publik.

• C

  Hanya gerbang penerapan (tidak akan diterapkan sebelum dimitigasi), tanpa jeda pengembangan dan tanpa evaluasi kendali, atau komitmen jeda yang diganti dengan 'kembangkan dengan mitigasi'.

• D

  Hanya bahasa diskresioner ('dapat mematikan', 'sebagaimana mestinya'), atau ikrar yang ditandatangani untuk tidak mengembangkan atau menerapkan tanpa ambang yang dipublikasikan untuk memicunya.

• F

  Tidak ditemukan komitmen publik.

Apakah lab memberi tahu publik saat terjadi masalah: kartu sistem yang melaporkan perilaku menyimpang (penipuan, sabotase, peretasan imbalan, kesadaran sedang dievaluasi), laporan insiden publik, laporan penyalahgunaan dan transparansi, serta proses terdokumentasi untuk melaporkan insiden kritis kepada pemerintah berdasarkan SB 53 California, EU AI Act, atau aturan serupa.

• A

  Kartu sistem terperinci untuk setiap rilis model terdepan yang melaporkan perilaku menyimpang dan temuan eksternal, laporan teknis publik yang cepat tentang insiden serius, laporan penyalahgunaan atau ancaman secara berkala, dan proses pelaporan kepada pemerintah yang terdokumentasi.

• B

  Kartu sistem terperinci dan proses insiden yang dinyatakan, dengan kekurangan seperti tidak adanya laporan tertulis insiden, pengungkapan yang terlambat, atau hanya ringkasan.

• C

  Kartu model atau laporan teknis dengan konten keselamatan terbatas dan proses insiden yang umum.

• D

  Dokumentasi keselamatan minimal; pelaporan insiden hanya jika diwajibkan hukum.

• F

  Tidak ditemukan dokumentasi keselamatan atau pengungkapan insiden.

Kebijakan pelapor yang dipublikasikan dan mencakup kekhawatiran keselamatan, saluran anonim, eskalasi di luar manajemen, ketentuan anti-pembalasan, penggunaan perjanjian non-disparagement, hasil yang dipublikasikan, serta kontroversi kredibel apa pun dalam 24 bulan terakhir.

• A

  Kebijakan publik tersendiri yang mencakup keselamatan dan ketidakpatuhan terhadap kerangka, saluran anonim dua arah, eskalasi ke dewan atau ombudsman eksternal, anti-pembalasan, tidak ada ketentuan non-disparagement yang menghalangi pengungkapan keselamatan, statistik hasil yang dipublikasikan, dan tidak ada kontroversi pembalasan yang kredibel dalam 24 bulan.

• B

  Kebijakan publik yang mencakup kekhawatiran keselamatan dengan pelaporan anonim dan anti-pembalasan, kurang satu atau dua unsur tingkat A, dan tidak ada kontroversi kredibel yang belum terselesaikan dalam 24 bulan.

• C

  Hanya kode etik perusahaan yang umum atau klausul kerangka dengan saluran pelaporan dan ketentuan anti-pembalasan, atau kebijakan tingkat B yang terbebani kontroversi baru yang kredibel.

• D

  Kebijakan disebut ada tetapi tidak dipublikasikan, atau ada kontroversi baru yang kredibel terkait penekanan pengungkapan, seperti penegakan perjanjian non-disparagement terhadap mantan karyawan.

• F

  Tidak ditemukan kebijakan pelapor atau saluran pelaporan dalam sumber publik.