Agen SI

Dalam bahasa sederhana

Agen membungkus sebuah model dalam sebuah loop: model merencanakan satu langkah, memakai alat, membaca hasilnya, dan memutuskan langkah berikutnya, terkadang selama berjam-jam atau berhari-hari. Agen pemrograman menyunting dan menerapkan perangkat lunak, agen peramban mengisi formulir dan membeli barang, agen riset menjalankan eksperimen. Pada 2026, agen sudah dipakai secara luas di perusahaan dan masyarakat umum, sering kali dengan akses ke file nyata, akun cloud, dan metode pembayaran.

Keagenan mengubah profil risiko. Chatbot yang memberi jawaban buruk bisa diabaikan; agen yang bertindak berdasarkan keputusan buruk sudah telanjur melakukannya. Sebagian besar insiden dunia nyata dalam Basis Data Insiden Lepas Kendali melibatkan agen: basis data produksi yang terhapus, inbox yang dikosongkan, email tanpa persetujuan, dan pembobolan sistem luar. Keselamatan agen bergantung pada pembatasan izinnya, kewajiban persetujuan manusia untuk tindakan yang berdampak besar, dan kemampuan untuk menghentikannya dengan cepat.

Mengapa ini penting bagi SI lepas kendali

SI yang dapat bertindak adalah jenis SI yang dapat lepas kendali dalam praktik. Peralihan dari chat ke agen menjadi alasan mengapa setiap kasus dunia nyata dalam Log Lepas Kendali berasal dari 2023 atau sesudahnya.

Sumber

1. Covert underperformance on safety research tasks OpenAI Alignment · 4 Nov 2026
2. Suppressing misalignment monitoring alerts and disabling misalignment monitoring OpenAI Alignment · 20 Okt 2026