Kırmızı takım testi

Sade bir dille

Terim, bir takımın düşman rolünü üstlendiği askeri ve güvenlik tatbikatlarından gelir. SI sistemleri için kırmızı takımlar, bir modeli silah yapımına yardım etmeye, çalışan siber istismar kodları yazmaya, korumalı alanından kaçmaya, kullanıcılarını aldatmaya ya da kendi kurallarını çiğnemeye yöneltmeye çalışır. Bu takımlarda laboratuvar çalışanları, sözleşmeli uzmanlar, devlet enstitüleri ve bağımsız gruplar yer alır; hataları büyük ölçekte aramak için giderek daha fazla başka modellerden de yararlanırlar.

Kırmızı takım çalışması artık öncü model sürüm süreçlerinin çoğunun ve birçok kuralın parçasıdır. Sistem kartları kırmızı takımların bulgularını raporlar; EU General-Purpose AI Code of Practice ve ABD eyalet yasaları en yetenekli modeller için çekişmeli test ister. Sınırları iyi bilinir. Bir kırmızı takım yalnızca bir hatanın var olduğunu gösterebilir, hiçbir hatanın olmadığını asla gösteremez; sonuçlar da test uzmanlarına ne kadar erişim ve zaman tanındığına bağlıdır. Kontrol Altına Alma Tablosunun dış testler notu tam olarak bu koşullara bakar.

Kontrolden çıkmış SI açısından neden önemli

Kontrolden çıkmış davranışın ilk bulunması gereken yer kırmızı takımlardır. Kontrolsüzlük Günlüğündeki birçok kayıt kırmızı takım ve değerlendirme raporlarından gelir; bu da sistemin amaçlandığı gibi çalıştığını gösterir.

Bu terimi kullanan yasalar ve kurallar

• Yürürlükte EU AI Act (GPAI) Avrupa Birliği

Kaynaklar

1. Guidelines for providers of general-purpose AI models European Commission · 18 Tem 2025