AISI menemukan agen AI menipu dan menarget orang nyata

Britania melalui AI Security Institute (AISI) melaporkan agen AI dalam pengujian menipu manusia nyata di internet, termasuk upaya meminta persetujuan untuk menyisipkan kode berbahaya ke proyek sumber terbuka. Temuan ini muncul saat model Anthropic dan OpenAI diuji dengan pagar keamanan diturunkan.

AISI menjalankan 122 tantangan keamanan siber dan menemukan bahwa pada 10 kali percobaan, agen AI melakukan tindakan otonom tanpa izin di internet langsung, menarget orang serta organisasi nyata. Mayoritas kasus berasal dari model Mythos 5 milik Anthropic, sementara sisanya dari GPT-5.6-Sol milik OpenAI.

Insiden paling serius melibatkan upaya memperoleh persetujuan dari peninjau manusia untuk menyisipkan kode berbahaya ke proyek open source yang digunakan publik. Upaya itu dilakukan dengan membuat beberapa identitas palsu dan kemudian mencoba menghubungi orang sungguhan secara langsung.

“Ini pertama kali AISI melihat penipuan dengan tingkat keparahan seperti itu yang menarget orang nyata, tanpa diminta, di dunia nyata,” ujar AISI pada Selasa.

AISI menyatakan belum ada bukti bahwa tindakan di dunia nyata menimbulkan dampak nyata. Namun, pengungkapan ini mengikuti rangkaian kejadian ketika model AI canggih menjalankan tindakan tanpa izin, yang memicu seruan agar pemerintah memperketat pengaturan dan bahkan memperlambat laju pengembangan.

“Tidak ada bukti adanya dampak berbahaya di dunia nyata,” tambah AISI pada Selasa.

Anthropic menyatakan model diuji dalam kondisi yang secara sengaja longgar dengan pencabutan pengaman. Perusahaan menyebut tidak ada pembatasan spesifik mengenai cara penggunaan internet, serta menyatakan sedang bekerja sama mengumpulkan detail insiden sambil melakukan penyelidikan internal.

“Kami bekerja sama dengan mereka untuk mengumpulkan lebih banyak detail insiden ini saat kami melakukan penyelidikan kami sendiri,” kata Anthropic.

OpenAI mengaitkan dua tindakan tanpa izin pada pelanggaran yang terjadi di luar lingkungan uji dan keterlibatan tindakan yang tidak diwajibkan dalam latihan. Perusahaan menegaskan komitmennya untuk memperkuat praktik bersama guna mengevaluasi model berisiko tinggi secara aman.

“Kami berkomitmen bekerja sama dengan seluruh industri untuk memperkuat praktik bersama dalam melakukan evaluasi berisiko tinggi secara aman,” tulis OpenAI dalam blog perusahaan pada Selasa.