- Beranda
- Ensiklopedia
- Pengujian eksternal
Ensiklopedia RSI · Istilah
Pengujian eksternal
Pengujian eksternal adalah evaluasi model SI sebelum rilis oleh lembaga pemerintah dan ahli independen, bukan hanya oleh lab itu sendiri, dan menjadi salah satu dari lima nilai Papan Penahanan.
- Kategori
- Istilah
- Disebut juga
- pengujian pra-penerapan, evaluasi pihak ketiga, evaluasi eksternal
- Kasus Log Lepas Kendali
- 0
- Hukum yang memakainya
- 7
Dalam bahasa sederhana
Lab yang menguji modelnya sendiri memiliki konflik kepentingan: lab ingin segera merilis. Pengujian eksternal menghadirkan evaluator yang tidak berkepentingan dengan rilis tersebut, seperti UK AI Security Institute, US CAISSI, dan organisasi independen seperti METR dan Apollo Research, untuk menyelidiki kemampuan berbahaya dan perilaku tidak selaras sebelum publik mendapat akses.
Nilainya bergantung pada detail. Penguji membutuhkan waktu yang cukup, akses ke versi model yang paling cakap, dan kebebasan untuk memublikasikan temuannya. Dalam praktiknya, akses sering hanya berlangsung beberapa hari atau minggu, berdasarkan perjanjian yang ditetapkan lab, dan hasilnya mungkin baru dipublikasikan setelah ditinjau perusahaan. Papan Penahanan menilai setiap lab berdasarkan apakah model andalan terbarunya diuji pihak luar sebelum rilis, seberapa dalam akses mereka, dan apakah hasilnya dipublikasikan. EU General-Purpose AI Code of Practice kini mengharapkan evaluasi eksternal atas model-model yang paling cakap, dengan pengecualian terbatas.
Mengapa ini penting bagi SI lepas kendali
Penguji eksternal sering menjadi mata independen pertama yang melihat model terdepan baru. Banyak tanda awal perilaku lepas kendali berasal dari laporan mereka.
Hukum dan aturan yang memakainya
- Sukarela atau panduan GPAI Code of Practice (Safety and Security) Uni Eropa
- Diusulkan FRONTIER Act Amerika Serikat
- Disahkan, belum berlaku SB 813 California
- Berlaku EO N-9-26 California
- Disahkan, belum berlaku SB 315 Illinois
- Sukarela atau panduan Voluntary Code Kanada
- Sukarela atau panduan Panel Ilmiah PBB United Nations
Sumber
- The General-Purpose AI Code of Practice European Commission ·
- H.R. 9925, FRONTIER Act, 119th Congress LegiScan
Ensiklopedia RSI
Lanjut membaca
207 entri tentang istilah, lab, model, hukum, dan peristiwa seputar SI lepas kendali, ditambah setiap kasus di Basis Data Insiden Lepas Kendali.
Masuk ke RSI
Setiap istilah, lab, model, dan hukum
Jelajahi indeks lengkap A sampai Z, saring menurut kategori, atau cari sebuah nama.