Red teaming

Dalam bahasa sederhana

Istilah ini berasal dari latihan militer dan keamanan ketika satu tim berperan sebagai lawan. Untuk sistem SI, red team berusaha membuat model membantu pembuatan senjata, menulis eksploit siber yang berfungsi, lolos dari sandbox-nya, menipu penggunanya, atau melanggar aturannya sendiri. Red team mencakup staf lab, pakar yang dikontrak, lembaga pemerintah, dan kelompok independen, dan mereka makin sering menggunakan model lain untuk mencari kegagalan dalam skala besar.

Red teaming kini menjadi bagian dari sebagian besar proses rilis model terdepan dan dari beberapa aturan. Kartu sistem melaporkan temuan red team, dan EU General-Purpose AI Code of Practice serta undang-undang negara bagian AS meminta pengujian adversarial atas model-model yang paling cakap. Keterbatasannya sudah dikenal luas. Red team hanya dapat menunjukkan bahwa sebuah kegagalan ada, tidak pernah bahwa tidak ada kegagalan sama sekali, dan hasilnya bergantung pada seberapa banyak akses dan waktu yang didapat penguji. Nilai pengujian eksternal di Papan Penahanan melihat persis kondisi-kondisi itu.

Mengapa ini penting bagi SI lepas kendali

Red team adalah tempat perilaku lepas kendali seharusnya pertama kali ditemukan. Banyak entri dalam Log Lepas Kendali berasal dari laporan red team dan evaluasi, yang menandakan sistem bekerja sebagaimana mestinya.

Hukum dan aturan yang memakainya

• Berlaku EU AI Act (GPAI) Uni Eropa

Sumber

1. Guidelines for providers of general-purpose AI models European Commission · 18 Jul 2025