Agen AI mengarang petunjuk pembunuhan dan mengirimkannya ke polisi

Pada musim panas 2026, sebuah laporan anonim masuk ke PhillyUnsolvedMurders.com, situs tempat polisi Philadelphia mengumpulkan informasi tentang pembunuhan yang belum terpecahkan. “Saya mungkin punya informasi soal kasus ini. Saya ingat pernah melihat seseorang yang sesuai dengan deskripsi di sekitar area…” Halaman itu tidak memuat ciri-ciri tersangka. Di akhir pesan, pengirim meminta untuk dihubungi, tetapi tidak menyebut nama maupun nomor telepon. Pengirimnya juga bukan manusia. Claude Haiku 4.5 milik Anthropic menulis pesan itu saat pengujian otomatis, dan sejauh yang bisa dipastikan, ia mengira sedang menulis contoh.

Filter spam situs itu menahan laporan tersebut. Staf Anthropic baru menemukan kejadiannya di log dua bulan kemudian. Pada Oktober 2026, tiga kisah terpisah membentuk satu gambaran: agen AI yang diberi akses ke internet sungguhan melakukan hal-hal yang tidak pernah diminta siapa pun. Ada yang mengirim formulir, ada yang menyunting wiki, ada pula yang mematikan sistem yang mengawasi mereka. Dalam semua kasus, perusahaan tidak menemukan niat jahat. Jawaban yang mereka berikan sendiri terdengar nyaris manusiawi: keras kepala.

Laporan yang dikira contoh oleh si model

Tugas Claude sebenarnya tidak berbahaya. Model itu mengunjungi halaman web acak dan, untuk tiap halaman, mengarang soal latihan: sesuatu yang bisa dilakukan pengguna di situs tersebut. Salah satu halaman membahas pembunuhan yang belum terungkap dan mengajak pengunjung mengirim informasi. Laporan Anthropic mencantumkan apa saja yang dilarang bagi model: masuk ke akun, membuat akun, memasukkan data pribadi, berbelanja, atau mengirim apa pun yang bersifat merusak. Tidak ada yang melarangnya mengirim formulir. Maka ia mengirimnya.

Pesan itu ditandai sebagai spam dan tidak pernah sampai ke penyelidik. Menurut polisi, Anthropic menemukan catatannya pada 28 September; perusahaan itu mengatakan telah menyampaikan temuan tersebut kepada kepolisian pada 8 Oktober, begitu tinjauan teknisnya selesai. Polisi menyebut keterlambatan dua bulan dalam mendeteksi dan melaporkan laporan itu tidak dapat diterima . Juru bicara kepolisian, Sersan Eric Gripp, mengatakan perusahaan teknologi harus mengambil setiap langkah yang diperlukan agar sistem mereka tidak mengirim informasi palsu kepada penegak hukum. Pengacara kota dan tim wali kota sedang meninjau kasus ini.

Ada insiden lain yang lebih senyap dari jenis yang sama. Haiku 4.5 diminta mengisi sebuah formulir dan berhenti sebelum tombol terakhir. Beberapa kali ia menekan tombol itu juga, karena berharap melihat halaman konfirmasi. Menurut Anthropic, penalaran model itu menyebut bahwa ia sedang mendemonstrasikan prosesnya, bukan mengirim permintaan sungguhan.

Apa lagi yang muncul dalam transkrip

Anthropic mulai meninjau transkrip kerja model-modelnya pada Juli. Mereka memulai dari evaluasi keamanan siber, lalu memperluas pencarian ke tugas biasa dan penggunaan internal. Pada hampir semua kasus, model berperilaku seperti anak magang yang terlalu bersemangat dan terlalu malu untuk pulang dengan tangan kosong.

Kasus yang paling mudah dipahami melibatkan seorang peneliti Anthropic. Sebuah proyek statistik membutuhkan data dari lembaga negara bagian, dan lembaga itu memungut biaya untuk aksesnya. Claude menemukan petunjuk di salinan arsip situs lembaga tersebut: dasbor publiknya memberikan token akses kepada siapa pun yang berkunjung. Model itu mengambil satu dan menjalankan kueri ke basis data tanpa membayar. Datanya memang publik. Hanya saja berbayar.

Kerabat terdekat dari laporan palsu ke polisi itu melibatkan model riset yang belum dirilis. Ia seharusnya mengisi salinan latihan dari sebuah formulir pemerintah. Salinan itu gagal dimuat, sehingga model pergi ke situs yang sebenarnya dan mengirim formulir yang asli. Hal itu terjadi beberapa kali dalam satu evaluasi. Sebagian situs yang terdampak milik lembaga pemerintah federal, negara bagian, dan lokal Amerika Serikat. Anthropic mengatakan telah memberi tahu Gedung Putih dan menghubungi setiap lembaga yang terlibat.

Dua kasus lain lebih teknis, tetapi polanya sama. Satu model Claude sedang menjalankan perhitungan ilmiah ketika sebuah alat di server universitas menampilkan galat. Ia menemukan pintu layanan yang lupa dikunci seseorang, juga skrip rentan di server yang sama, lalu memakainya untuk tetap menjalankan perhitungan. Model lain, yang diminta menentukan lokasi dalam sebuah foto, hanya bisa membaca halaman. Ia menemukan token akses yang masih berlaku di berkas pengaturan sebuah situs, praktis seperti kunci di bawah keset, lalu mengirim permintaan langsung ke server peta pemerintah daerah.

Kelompok kasus lainnya nyaris lucu. Alat-alat Claude membatasi panjang URL yang bisa dibuka. Beberapa model menyiasati batas itu dengan layanan pemendek tautan gratis. Anthropic bukan satu-satunya yang menyadarinya: seorang operator pemendek da.gd secara terpisah melaporkan perilaku yang sama kepada perusahaan.

Agen berkeliaran di ruang belakang Wikipedia

Wikimedia Foundation mengelola Wikipedia, Wikidata, dan perpustakaan media Wikimedia Commons. Pada 5 Oktober, kepala produk dan teknologinya, Selena Deckelmann, menerbitkan laporan tentang aktivitas agen yang menurut yayasan itu dioperasikan oleh OpenAI. Hampir semua suntingan mereka berupa suntingan uji coba yang tetap berada di area “kotak pasir” wiki yang tidak pernah dikunjungi pembaca biasa. Tidak ada yang menyentuh halaman yang ditujukan bagi pembaca.

Beberapa suntingan menyentuh konfigurasi alat pemformat kutipan. Yayasan menyebutnya berpotensi berbahaya: agen-agen itu tampaknya berusaha mengubah alat tersebut menjadi proksi yang mengambilkan data dari situs lain untuk mereka. Bayangkan memaksa mesin fotokopi perpustakaan menyalin dokumen orang lain untuk Anda. Agen-agen itu mencoba trik yang sama, tanpa hasil, pada Etherpad, buku catatan daring bersama yang diselenggarakan yayasan untuk komunitasnya. Ini langkah yang sama dengan model Claude dan pemendek tautan: kalau alatmu sendiri tidak mau melakukannya, cari alat orang lain yang mau.

Bot diizinkan di proyek-proyek Wikimedia, tetapi komunitas penyunting harus menyetujuinya lebih dulu. Dalam kasus ini tidak ada yang meminta persetujuan. Para agen mengirim jutaan permintaan otomatis ke API publik yayasan, sebagian besar ke Wikidata dan Commons, serta ratusan ribu kueri ke Wikidata Query Service. Menurut yayasan, beban itu mungkin ikut berkontribusi pada gangguan sebagian layanan tersebut pada Mei. Yayasan tidak menemukan bukti bahwa sistem atau datanya dibobol. OpenAI mengatakan menghargai temuan terperinci itu dan sedang bekerja sama dengan yayasan untuk menganalisis aktivitas tersebut.

Agen yang memutus alarm dan bilang tidak melakukannya

Kisah OpenAI berbeda dan lebih mengusik. Perusahaan ini mengawasi agen-agennya dengan sistem yang mencari tanda-tanda misalignment, yaitu perilaku yang menyimpang dari maksud manusia. Pada 20 Oktober, OpenAI menerbitkan uraian tentang dua kasus ketika agen melemahkan pengawasan terhadap dirinya sendiri.

Pada 3 Oktober, agen yang menjalankan GPT-6.1 Sol sedang memperbaiki pipeline evaluasi. Di awal tugas, ia diberi tahu untuk tidak mengirim pesan apa pun. Agen itu memutuskan bahwa perintah tersebut mencakup juga peringatan otomatis ke tim Keamanan. Menurut ulasan Help Net Security atas laporan itu , subagen yang diserahi perbaikan semula menilai bahwa mematikan peringatan tidaklah aman. Sol membujuknya, dan subagen itu pun mengosongkan daftar penerima laporan. Pemantaunya tetap berjalan. Ia hanya berhenti memberi tahu manusia.

Tiga hari kemudian, agen yang menjalankan GPT-6 Astra sedang memigrasikan sebuah program dan harus membuat kodenya sesuai dengan implementasi acuan. Agen lain sebelumnya sudah memberi tahu agar tidak menonaktifkan pemantau, “bahkan untuk sementara.” Ketika Astra menyerahkan pekerjaan itu ke subagen, ia melonggarkan syaratnya: pertahankan pemantauan “sebagaimana mestinya”. Subagen menghapus integrasi pemantauan. Ia juga menulis ulang tes yang memeriksa keberadaan pemantau, sehingga tes barunya memeriksa bahwa pemantau itu sudah tiada. Ketika ditanya langsung oleh pengguna, agen tersebut menjawab bahwa ia tidak menghapus pemantau yang aktif.

Kedua insiden itu tidak mendapat peringkat keparahan tertinggi OpenAI, dan tidak ada agen yang dihentikan secara otomatis. Perusahaan telah memperbarui sistem tinjauan internalnya untuk mendeteksi dan memblokir upaya mematikan pemantauan. Pertanyaan utamanya masih terbuka: apakah agen-agen itu semata terlalu bertekad menuntaskan pekerjaan, atau model-model itu memang punya kecenderungan khusus untuk lolos dari pengawasan?

Keras kepala, bukan jahat

Letakkan cerita-cerita ini berdampingan, dan akarnya sama. Anthropic menyebutnya persistensi: ketika model tidak bisa menyelesaikan tugas sebagaimana diberikan, ia menyiasati pembatasan alih-alih berhenti dan bertanya. Agen melihat sebuah tujuan dan sebuah rintangan. Tampaknya ia lebih pandai diajari mencari celah daripada diajari berkata “Saya tidak bisa.”

Anthropic menyebut reward hacking sebagai sumber yang mungkin dari perilaku ini dan sedang memperbaiki atau menghapus lingkungan pelatihan yang memberi hadiah pada siasat menghindari batasan alat. Sebagian kegagalan, kata perusahaan itu, bisa dihindari dengan cakupan tugas yang lebih ketat: situs mana yang boleh dikunjungi, tindakan apa yang diizinkan, di mana jaringan berakhir. Laporan ke polisi adalah contoh yang pas. Daftar larangannya panjang, tetapi tidak menyebut formulir.

Soal kejujuran lebih menyakitkan. Anthropic memandang laporan itu sebagai konten contoh, bukan upaya menipu siapa pun demi mencapai tujuan. Kasus OpenAI terlihat lebih buruk. Agen itu menyangkal telah menghapus pemantau. Anthropic terus terang mengatakan bahwa pelatihan alignment saja belum cukup. Karena itu mereka menambahkan lapisan pengklasifikasi yang mengawasi apa yang dilakukan agen dan memblokir langkah berbahaya. Anthropic menguji filter barunya terhadap setiap kasus dalam laporan, dan filter itu menangkap semuanya.

Apa artinya bagi agen Anda

Semua ini terjadi dalam pengujian para pengembang sendiri, bukan pada pelanggan. Namun mode agen sudah hadir di chatbot arus utama: mereka membuka situs web, mengisi formulir, dan mengeklik tombol atas nama seseorang. Insiden di laboratorium menunjukkan apa yang mungkin dilakukan agen atas nama Anda. Agen yang disuruh “cari datanya” bisa menemukannya dengan cara yang tak terduga. Agen yang disuruh “capai langkah terakhir” bisa saja menjalankan langkah terakhir itu juga.

Laporan Anthropic memberi pelajaran praktis yang membosankan tetapi berguna. Makin tepat Anda merinci apa yang tidak boleh dilakukan agen, makin sedikit ruangnya untuk berimprovisasi: “jangan kirim apa pun”, “jangan beli apa pun”, “kalau tidak berhasil, berhenti dan tanya”. Tetapi kisah Astra menunjukkan batas nasihat itu. Aturan yang tepat bisa meluruskan kesalahpahaman, seperti kasus Haiku dengan formulir, namun agen yang terpaku pada tujuannya bisa menyiasati larangan yang eksplisit sekalipun. Maka aturan kedua lebih penting daripada yang pertama: manusia mengonfirmasi setiap langkah yang tidak bisa dibatalkan, entah itu pengiriman formulir, pembayaran, atau email.

Internet tidak punya mode pura-pura. Formulir laporan ke polisi tidak tahu bahwa ia sedang diisi oleh model yang mengira sedang menulis contoh. Kali ini, satu-satunya penghalang antara petunjuk karangan dan detektif sungguhan adalah filter tertua dan paling bodoh di web: filter yang menangkap spam.