Kiểm thử đối kháng

Giải thích dễ hiểu

Thuật ngữ này bắt nguồn từ các cuộc diễn tập quân sự và an ninh, trong đó một đội đóng vai đối thủ. Với các hệ thống SI, đội kiểm thử đối kháng tìm cách khiến mô hình hỗ trợ chế tạo vũ khí, viết mã khai thác lỗ hổng mạng hoạt động được, thoát khỏi sandbox, lừa dối người dùng hoặc phá vỡ chính các quy tắc của nó. Các đội này gồm nhân viên phòng thí nghiệm, chuyên gia được thuê, các viện của chính phủ và các nhóm độc lập, và ngày càng sử dụng các mô hình khác để tìm lỗi trên quy mô lớn.

Kiểm thử đối kháng hiện là một phần của hầu hết quy trình phát hành mô hình tiên phong và của một số quy định. Các thẻ hệ thống (system card) báo cáo những gì đội kiểm thử đối kháng phát hiện, còn EU General-Purpose AI Code of Practice và luật của các tiểu bang Mỹ yêu cầu kiểm thử đối kháng đối với các mô hình có năng lực cao nhất. Giới hạn của nó đã được biết rõ. Một đội kiểm thử đối kháng chỉ có thể chứng minh rằng một lỗi tồn tại, chứ không bao giờ chứng minh được rằng không có lỗi nào, và kết quả phụ thuộc vào mức độ truy cập và thời gian mà người kiểm thử có được. Điểm kiểm thử bên ngoài trên Bảng Ngăn chặn xem xét chính những điều kiện đó.

Vì sao điều này quan trọng đối với SI mất kiểm soát

Đội kiểm thử đối kháng là nơi hành vi mất kiểm soát được kỳ vọng sẽ bị phát hiện đầu tiên. Nhiều mục trong Nhật ký Mất kiểm soát đến từ các báo cáo kiểm thử đối kháng và đánh giá, cho thấy hệ thống đang vận hành đúng như dự định.

Luật và quy định sử dụng thuật ngữ này

• Có hiệu lực EU AI Act (GPAI) Liên minh châu Âu

Nguồn

1. Guidelines for providers of general-purpose AI models European Commission · 18 thg 7, 2025