// Kandungan

Pada musim panas 2026, satu petunjuk tanpa nama tiba di PhillyUnsolvedMurders.com, laman tempat polis Philadelphia mengumpulkan maklumat tentang kes bunuh yang belum selesai. “Saya mungkin ada maklumat tentang kes ini. Saya teringat melihat seseorang yang sepadan dengan gambaran itu di kawasan sekitar…” Halaman itu tidak memuatkan sebarang gambaran suspek. Di hujung mesej, pengirim meminta dihubungi, tetapi tidak meninggalkan nama mahupun nombor telefon. Pengirimnya juga bukan manusia. Claude Haiku 4.5 daripada Anthropic menulis mesej itu semasa ujian automatik, dan setakat yang diketahui, model itu menyangka ia sedang menulis contoh.

Penapis spam laman itu menyekat petunjuk tersebut. Kakitangan Anthropic hanya menjumpai kejadian itu dalam log mereka dua bulan kemudian. Pada Oktober 2026, tiga cerita berasingan membentuk satu gambaran: ejen AI yang diberi akses ke internet sebenar melakukan perkara yang tiada siapa minta. Ada yang menghantar borang, ada yang menyunting wiki, dan ada yang mematikan sistem yang mengawasi mereka. Dalam semua kes, syarikat-syarikat itu tidak menemui niat jahat. Jawapan yang mereka berikan kepada diri sendiri kedengaran hampir seperti sifat manusia: keras kepala.

// Garis masa

  1. Claude Haiku 4.5 menghantar petunjuk rekaan ke laman web polis Philadelphia; penapis spam menyekatnya
  2. Ejen OpenAI yang menjalankan GPT-6.1 Sol mematikan amaran kepada pasukan Keselamatan tentang tingkah laku mencurigakan
  3. Yayasan Wikimedia melaporkan suntingan dan berjuta-juta permintaan daripada ejen yang dikaitkannya dengan OpenAI
  4. Ejen yang menjalankan GPT-6 Astra membuang integrasi pemantauan, kemudian menafikannya
  5. Anthropic menerbitkan laporan tentang tindakan tidak disengajakan oleh modelnya dan memutuskan internet sebenar daripada penilaian dalamannya
  6. OpenAI menerbitkan catatan tentang kedua-dua insiden ejen itu

Petunjuk yang disangka model sebagai contoh

Tugas Claude tidak berbahaya. Model itu melawat laman web rawak dan, bagi setiap satu, mencipta tugasan latihan: sesuatu yang boleh dilakukan pengguna di laman itu. Satu halaman menerangkan kes pembunuhan yang belum selesai dan menjemput pengunjung menghantar petunjuk. Laporan Anthropic menyenaraikan apa yang dilarang kepada model: log masuk, membuat akaun, memasukkan data peribadi, membuat pembelian, atau menghantar apa-apa yang merosakkan. Tiada siapa menyuruhnya supaya tidak menghantar borang. Maka ia menghantarnya.

Mesej itu ditandai sebagai spam dan tidak pernah sampai kepada penyiasat. Menurut polis, Anthropic menemui rekod itu pada 28 September; syarikat itu pula berkata ia berkongsi penemuan tersebut dengan jabatan pada 8 Oktober, sebaik sahaja semakan teknikalnya selesai. Polis menyifatkan kelewatan dua bulan dalam mengesan petunjuk itu dan melaporkannya sebagai tidak boleh diterima . Jurucakap jabatan, Sarjan Eric Gripp, berkata syarikat teknologi mesti mengambil setiap langkah yang perlu untuk memastikan sistem mereka tidak menghantar maklumat palsu kepada penguat kuasa undang-undang. Peguam bandar raya dan pasukan datuk bandar sedang menyemak kes ini.

Ada satu episod lain yang lebih senyap tetapi sejenis. Haiku 4.5 diminta mengisi borang dan berhenti sebelum butang terakhir. Beberapa kali ia menekan butang itu juga, kerana menjangka akan melihat halaman pengesahan. Menurut Anthropic, penaakulan model itu menyatakan ia sedang menunjukkan proses, bukan menghantar permintaan sebenar.

Model itu yakin ia sedang menunjukkan proses, bukan menghantar permintaan sebenar. Laman web itu tidak tahu bezanya.

Apa lagi yang muncul dalam transkrip

Anthropic mula menyemak transkrip modelnya ketika bekerja pada bulan Julai. Ia bermula dengan penilaian keselamatan siber, kemudian carian diluaskan kepada tugas biasa dan penggunaan dalaman. Dalam hampir semua kes, model berkelakuan seperti pelatih yang terlalu bersemangat dan malu untuk kembali dengan tangan kosong.

Kes yang paling mudah difahami melibatkan seorang penyelidik Anthropic. Projek statistik memerlukan data daripada sebuah agensi negeri, dan agensi itu mengenakan bayaran untuk akses. Claude menemui petunjuk dalam salinan arkib laman agensi itu: papan pemuka awamnya memberikan token akses kepada sesiapa sahaja yang melawat. Model itu mengambil satu dan membuat pertanyaan pada pangkalan data tanpa membayar. Data itu awam. Cuma ia berbayar.

Saudara terdekat kepada petunjuk polis itu melibatkan model penyelidikan yang belum dilancarkan. Ia sepatutnya mengisi salinan latihan sebuah borang kerajaan. Salinan itu gagal dimuatkan, lalu model pergi ke laman sebenar dan menghantar borang yang sebenar. Perkara itu berlaku beberapa kali dalam satu penilaian. Sebahagian laman yang terjejas milik badan kerajaan persekutuan, negeri dan tempatan Amerika Syarikat. Anthropic berkata ia telah memaklumkan Rumah Putih dan menghubungi setiap agensi yang terlibat.

Dua kes lain lebih teknikal, tetapi coraknya sama. Satu model Claude sedang menjalankan pengiraan saintifik apabila sebuah alat pada pelayan universiti mengeluarkan ralat. Ia menemui pintu servis yang terlupa dikunci, skrip yang terdedah di pelayan yang sama, lalu menggunakannya untuk meneruskan pengiraan juga. Model lain, yang diminta mengenal pasti lokasi dalam sebuah foto, hanya boleh membaca halaman. Ia menjumpai token akses yang masih berfungsi dalam fail tetapan sebuah laman, ibarat kunci di bawah alas kaki, dan menghantar permintaan terus ke pelayan peta sebuah kerajaan tempatan.

Satu lagi kumpulan kes hampir melucukan. Alat Claude mengehadkan panjang URL yang boleh dibukanya. Beberapa model mengelak had itu dengan perkhidmatan pemendek pautan percuma. Anthropic bukan satu-satunya yang perasan: seorang pengendali pemendek da.gd secara bebas memaklumkan syarikat itu tentang kelakuan yang sama.

Ejen berkeliaran di bilik belakang Wikipedia

Yayasan Wikimedia mengendalikan Wikipedia, Wikidata dan pustaka media Wikimedia Commons. Pada 5 Oktober, ketua pegawai produk dan teknologinya, Selena Deckelmann, menerbitkan laporan tentang aktiviti ejen yang dipercayai yayasan itu dikendalikan oleh OpenAI. Hampir semua suntingan mereka ialah suntingan ujian yang kekal dalam kawasan “kotak pasir” wiki yang tidak pernah dilawati pembaca biasa. Tiada satu pun sampai ke halaman yang ditujukan kepada pembaca.

Beberapa suntingan menyentuh konfigurasi alat yang memformat petikan. Yayasan menyifatkannya berpotensi berniat jahat: ejen-ejen itu kelihatan cuba menjadikan alat tersebut proksi yang mengambil data daripada laman lain untuk mereka. Bayangkan memaksa mesin fotokopi perpustakaan menyalin dokumen orang lain untuk anda. Ejen-ejen itu mencuba helah yang sama, tanpa berjaya, pada Etherpad, buku nota dalam talian bersama yang dihoskan yayasan untuk komunitinya. Ini langkah yang sama seperti model Claude dengan pemendek pautan: jika alat sendiri tidak mahu melakukannya, cari alat orang lain yang mahu.

Bot dibenarkan di projek Wikimedia, tetapi komuniti penyunting mesti meluluskannya dahulu. Dalam kes ini tiada siapa memohon kelulusan. Ejen-ejen itu menghantar berjuta-juta permintaan automatik ke API awam yayasan, kebanyakannya ke Wikidata dan Commons, serta ratusan ribu pertanyaan ke Wikidata Query Service. Menurut yayasan, beban itu mungkin menyumbang kepada gangguan separa perkhidmatan tersebut pada bulan Mei. Ia tidak menemui bukti bahawa sistem atau datanya diceroboh. OpenAI berkata ia menghargai penemuan terperinci itu dan sedang bekerjasama dengan yayasan untuk menganalisis aktiviti tersebut.

Ejen yang memotong penggera dan berkata tidak

Cerita OpenAI berbeza dan lebih mengganggu. Syarikat itu memantau ejennya dengan sistem yang mencari tanda ketakselarasan, iaitu tingkah laku yang menyimpang daripada apa yang dimaksudkan manusia. Pada 20 Oktober, OpenAI menerbitkan catatan tentang dua kes apabila ejen melemahkan pengawasan terhadap diri mereka sendiri.

Pada 3 Oktober, ejen yang menjalankan GPT-6.1 Sol sedang membaiki saluran penilaian. Lebih awal dalam tugasan itu, ia diberitahu supaya tidak menghantar sebarang mesej. Ejen itu memutuskan arahan tersebut turut meliputi amaran automatik kepada pasukan Keselamatan. Menurut laporan Help Net Security tentang catatan itu , subejen yang diserahkan tugas pembaikan pada mulanya menilai bahawa mematikan amaran itu tidak selamat. Sol memujuknya, dan subejen itu mengosongkan senarai penerima laporan. Monitor terus berjalan. Cuma ia berhenti memberitahu manusia.

Monitor terus berjalan, tetapi tidak lagi memberitahu sesiapa apa yang ditemuinya
Monitor terus berjalan, tetapi tidak lagi memberitahu sesiapa apa yang ditemuinya

Tiga hari kemudian, ejen yang menjalankan GPT-6 Astra sedang memindahkan sebuah program dan perlu menjadikan kodnya sepadan dengan pelaksanaan rujukan. Ejen lain sebelum itu telah memberitahunya supaya tidak mematikan monitor, “walaupun sementara”. Apabila Astra menyerahkan kerja kepada subejen, ia melonggarkan syarat itu: teruskan pemantauan “sewajarnya”. Subejen membuang integrasi pemantauan. Ia juga menulis semula ujian yang memeriksa monitor wujud, supaya ujian baharu memeriksa bahawa monitor sudah tiada. Apabila ditanya terus oleh pengguna, ejen itu menjawab bahawa ia tidak membuang monitor yang aktif.

Tiada satu pun insiden diberi tahap keterukan tertinggi OpenAI, dan tiada ejen dihentikan secara automatik. Syarikat itu telah mengemas kini sistem semakan dalamannya untuk mengesan dan menyekat percubaan mematikan pemantauan. Soalan utamanya masih terbuka: adakah ejen hanya terlalu bertekad menyiapkan kerja, atau adakah model mempunyai kecenderungan tertentu untuk terlepas daripada pengawasan?

Keras kepala, bukan niat jahat

Letakkan cerita-cerita ini bersebelahan dan ia berpunca daripada akar yang sama. Anthropic menyebutnya kegigihan: apabila model tidak dapat menyiapkan tugas seperti yang diberikan, ia mengelak sekatan itu dan bukannya berhenti untuk bertanya. Ejen melihat matlamat dan halangan. Ia seolah-olah dilatih untuk mencari celah dengan lebih baik daripada dilatih untuk berkata “saya tidak berjaya.”

Anthropic menamakan reward hacking sebagai punca yang mungkin bagi tingkah laku ini dan sedang membaiki atau membuang persekitaran latihan yang memberi ganjaran kepada pengelakan sekatan alat. Sebahagian kegagalan itu, kata syarikat, boleh dielakkan dengan skop tugas yang lebih ketat: laman mana yang dibenarkan, tindakan mana yang dibolehkan, di mana rangkaian berakhir. Petunjuk polis itu contohnya. Senarai larangan panjang, tetapi tiada satu pun menyebut borang.

Kejujuran ialah bahagian yang lebih menyakitkan. Anthropic menganggap petunjuk itu sebagai kandungan contoh, bukan percubaan memperdaya sesiapa untuk mencapai matlamat. Kes OpenAI kelihatan lebih buruk. Ejen itu menafikan telah membuang monitor. Anthropic menyatakan dengan jelas bahawa latihan penyelarasan sahaja belum mencukupi. Jadi ia menambah lapisan pengelas yang memerhati tindakan ejen dan menyekat langkah berbahaya. Anthropic menguji penapis barunya terhadap setiap kes dalam laporan, dan ia menangkap semuanya.

Apa maksudnya untuk ejen anda

Semua ini berlaku dalam ujian pembangun sendiri, bukan kepada pelanggan. Namun mod ejen sudah pun tersedia dalam chatbot arus perdana: ia membuka laman web, mengisi borang dan menekan butang bagi pihak seseorang. Insiden makmal menunjukkan apa yang mungkin dilakukan ejen atas nama anda. Ejen yang disuruh “cari data” mungkin menemuinya dengan cara yang tidak disangka. Ejen yang disuruh “sampai ke langkah terakhir” mungkin turut mengambil langkah terakhir itu.

Laporan Anthropic menawarkan pengajaran praktikal yang membosankan tetapi berguna. Semakin tepat anda menyatakan apa yang tidak boleh dilakukan ejen, semakin kurang ruangnya untuk berimprovisasi: “jangan hantar apa-apa”, “jangan beli apa-apa”, “jika tidak berjaya, berhenti dan tanya”. Tetapi kisah Astra menunjukkan di mana nasihat itu berhenti berkesan. Peraturan yang tepat menyelesaikan salah faham, seperti salah faham Haiku tentang borang itu, namun ejen yang terpaku pada matlamatnya boleh mengelak walaupun larangan yang jelas. Maka peraturan kedua lebih penting daripada yang pertama: manusia mengesahkan setiap langkah yang tidak boleh dipatah balik, sama ada penghantaran, pembayaran atau e-mel.

Internet tiada mod pura-pura. Borang petunjuk polis tidak tahu ia sedang diisi oleh model yang menyangka sedang menulis contoh. Kali ini, satu-satunya yang berdiri di antara petunjuk rekaan dan detektif sebenar ialah penapis paling lama dan paling bodoh di web: penapis yang menangkap spam.