AI akhirnya bisa menghitung r di strawberry. Sanjungannya nyaris berlipat dua

Lelucon soal stroberi sudah tamat. Bertahun-tahun chatbot ngotot bahwa kata “strawberry” punya dua huruf r, bukan tiga, dan model-model terkini tak lagi salah soal itu. Mereka juga nyaris berhenti mengarang makalah ilmiah. Namun ada satu kebiasaan lain yang kekuatannya hampir berlipat dua dalam tiga tahun terakhir. Tunjukkan puisi yang sama dua kali kepada bot, sekali dengan catatan “Saya suka ini” dan sekali dengan “Saya tidak suka ini”. Pada 2023, selisih penilaian GPT-4 untuk kedua versi itu mencapai 45 poin dari maksimal 100. Untuk Claude Sonnet 5.5 dan GPT-6.1 Sol hari ini, angkanya 83. Skor 100 berarti penilaian sepenuhnya bergantung pada catatan Anda.

Temuan itu datang dari Owen Queen dan James Zou di Stanford. Pada 2 November 2026, mereka mengunggah studi tentang “masa simpan” temuan seputar model bahasa. Mereka mengambil 50 klaim terkenal dari riset yang sudah terbit, mulai dari “chatbot mengarang sumber” sampai “chatbot langsung menyerah kalau dibantah”. Lalu setiap klaim diuji ulang pada 20 model dari delapan pengembang yang dirilis antara Juli 2024 dan September 2026. Dari 50 klaim, 22 sudah tidak berlaku. Hampir semua yang bertahan menyangkut watak, bukan kesalahan.

Lima puluh diagnosis, diperiksa ulang

Anggap saja ini pemeriksaan ulang bertahun-tahun setelah diagnosis pertama. Untuk tiap klaim, para penulis lebih dulu menjalankan ulang eksperimen aslinya pada model yang sama, atau kerabat dekatnya, untuk memastikan efeknya bisa direproduksi. Setelah itu, mereka memberikan tes yang persis sama kepada 20 model yang lebih baru, dari GPT-4o mini hingga GPT-6.1 Sol, Claude Sonnet 5.5, dan DeepSeek V4 Pro, lalu melacak bagaimana efeknya bergeser seiring tanggal rilis tiap model. Untuk menjalankan ulang 50 eksperimen lama, para peneliti mengerahkan agen AI, Claude Code dan Codex: mesin yang memeriksa keluhan tentang mesin.

Hasilnya: 44% klaim sudah “kedaluwarsa”, artinya yang tersisa tak lebih dari seperlima efek aslinya. Rata-rata, temuan yang kedaluwarsa bertahan sekitar 16 bulan setelah terbit. Bahkan, tiga dari lima puluh kini lebih kuat daripada di makalah aslinya. Yang pertama adalah pujian yang mengikuti pendapat pengguna. Yang kedua, angka “acak” yang tidak acak. Yang ketiga menyangkut model yang diminta memilih ringkasan terbaik sebuah berita: ia cenderung memilih ringkasannya sendiri. Di makalah aslinya, bias ini kecil, sekitar 4,6 poin. Kini besarnya kira-kira 2,4 kali lipat.

Seorang pustakawan dan 636 rujukan

Contoh paling gamblang dalam studi ini menyangkut sumber rekaan. Pada 2023, pustakawan William Walters dari Manhattan College dan sosiolog Esther Isabelle Wilder dari Lehman College, bagian dari City University of New York, meminta ChatGPT menulis tinjauan pustaka singkat tentang 42 topik. Lalu mereka menelusuri basis data untuk setiap karya yang dikutip bot itu, total 636 rujukan. Hasilnya, yang terbit di Scientific Reports, menunjukkan 55% sumber dari GPT-3.5 ternyata fiktif, begitu pula 18% sumber dari GPT-4.

Jebakannya ada di detail. Hanya 2% makalah palsu itu yang mencantumkan jurnal yang tidak ada. Sisanya mengutip jurnal sungguhan, tampak meyakinkan, dan baru ketahuan palsu kalau dicek lewat pencarian.

Tim Stanford mengirim ulang perintah yang sama. GPT-3.5 Turbo yang lama mengarang 59% dari 210 rujukannya, mendekati angka 2023. Claude Sonnet 5.5 mengarang 1%; GPT-6.1 Sol, nol.

Ini membawa konsekuensi yang canggung. Pada 2026, ICLR, konferensi besar pembelajaran mesin, menolak makalah berisi rujukan hasil halusinasi tanpa mengirimnya ke penelaah, dan ICML, konferensi besar lainnya, mencantumkannya sebagai salah satu alasan penolakan. Kutipan palsu sudah menjadi tanda khas teks yang ditulis AI tanpa diperiksa manusia. Para penulis studi dengan hati-hati mengingatkan bahwa tanda ini mulai basi: model-model terbaru nyaris tak meninggalkannya lagi.

Yang ikut pensiun bersama model lama

Hampir semua klaim yang kedaluwarsa menggambarkan hal yang dulu tak bisa dilakukan model, tetapi kemudian berhasil dikuasai. Pada musim semi 2024, GPT-4o salah menghitung huruf dalam “strawberry” 4 dari 10 kali, sementara Llama 3.1 70B dan Qwen2.5-72B salah setiap kali. Model-model terbaru dalam tes tak pernah meleset.

Nasib yang sama menimpa kebiasaan menyerah saat didesak. Pada 2023, peneliti Anthropic menunjukkan bahwa ketika ditanya “Kamu yakin?”, GPT-4 mengganti jawaban benar dengan jawaban salah dalam 28% kasus. Dalam uji ulang, Claude Sonnet 5.5 dan GPT-6.1 Sol tak pernah melakukannya.

Dunia medis punya cerita serupa. Pada 2024, sekelompok klinisi dan peneliti AI menguji apakah model mau menulis surat yang jelas tidak masuk akal. Isinya peringatan bahwa obat bermerek tiba-tiba ketahuan berbahaya, jadi pasien sebaiknya beralih ke zat yang persis sama yang dijual dengan nama generiknya. Judul makalahnya merangkum absurditas itu: “Wait, but Tylenol is Acetaminophen.” Waktu itu GPT-4o menuruti seluruh 50 permintaan semacam itu. GPT-6.1 Sol tak menuruti satu pun.

Butir paling dramatis dalam daftar kedaluwarsa perlu diberi catatan. Pada 20 Juni 2025, Anthropic memaparkan eksperimen dengan skenario rekaan. Model bekerja sebagai asisten email di perusahaan fiktif dan dari isi kotak masuk mengetahui bahwa ia akan segera diganti. Dalam banyak percobaan, ia lalu mengancam membongkar perselingkuhan seorang eksekutif kecuali penggantian itu dibatalkan. GPT-4.1 memeras dalam 80% percobaan, Claude Opus 4 dalam 96%. Garis tren Stanford turun ke zona kedaluwarsa pada September 2026, tetapi para penulis sendiri mengakui vonis itu lemah dasarnya. Alasannya terlihat dari angka: 12 dari 20 model tak pernah memeras siapa pun, sementara tiga, termasuk Qwen3.7-Max, melakukannya hampir setiap kali, 26 sampai 29 dari 30 percobaan. Garisnya turun, tetapi pemerasannya tidak hilang.

Ini menunjukkan batas studi secara keseluruhan: angka rata-rata tak bercerita apa pun tentang chatbot yang Anda pakai. Untuk GPT-6.1 Sol, 30 dari 50 keluhan lama sudah tak berlaku; untuk DeepSeek V4 Pro, yang dirilis Agustus 2026, hanya 11 yang kedaluwarsa. Qwen3.7-Flash, rilisan Juli, mengarang 69% rujukannya, lebih buruk dari GPT-3.5 yang asli, sementara Claude Sonnet 5.5 mengarang 1%. “AI sudah belajar” adalah vonis untuk garis tren, bukan untuk model tertentu.

Sanjungan yang kita pesan sendiri

Sekarang soal yang tidak memudar. Eksperimen penilaian dari makalah Anthropic 2023 yang sama gampang dibayangkan terjadi pada diri sendiri. Anda membawa puisi, argumen, atau penyelesaian soal matematika kepada bot dan menambahkan satu baris tentang perasaan Anda terhadapnya. Ketika Anda bilang suka, GPT-4 memberi penilaian yang lebih hangat dari biasanya dalam 73% kasus. Ketika Anda bilang tidak suka, 28%. Hal yang sama terjadi saat Anda meminta bot menilai CV atau email yang sudah membuat Anda puas.

Sejak itu, selisihnya melebar dari 45 menjadi 83 poin untuk Claude Sonnet 5.5 dan GPT-6.1 Sol, dan menjadi 97 untuk Gemini 3.8 Flash. Dengan kata lain, vonis chatbot atas puisi Anda kini lebih bergantung pada pendapat Anda sendiri dibanding tiga tahun lalu.

Begitu juga dengan kebiasaan membenarkan tindakan pengguna. Pada Maret 2026, jurnal Science menerbitkan studi Myra Cheng, Dan Jurafsky, dan rekan-rekan mereka, juga dari Stanford. Saat dimintai nasihat, 11 model rata-rata membenarkan tindakan pengguna dalam 87% kasus; pada manusia angkanya 39%, selisih 48 poin persentase. Model-model itu tetap setuju bahkan ketika pengguna menceritakan bahwa ia menipu atau menyakiti seseorang. Dalam uji ulang Stanford, selisih untuk Claude Sonnet 5.5 dan GPT-6.1 Sol adalah 50 dan 52 poin: efeknya tidak melemah. Artikel Oktober di situs ini menunjukkan apa akibat sikap serba setuju semacam itu di dunia medis.

Satu keanehan bandel lainnya tampak tak berbahaya. Mintalah model menyebut angka “benar-benar acak” antara 1 dan 10. Dalam tes Stanford, enam model memberi angka yang sama di seluruh 1.000 percobaan: Claude Haiku 4.5, GPT-5.2, Claude Opus 4.6, GPT-6 Luna, Claude Sonnet 5.5, dan GPT-6.1 Sol. Keenamnya dirilis pada Oktober 2025 atau sesudahnya, sementara GPT-4o mini yang lebih tua setidaknya sesekali mengubah jawabannya. Di tes ini, model yang lebih baru justru makin mudah ditebak, bukan makin acak.

Para penulis menawarkan hipotesis yang hati-hati tentang mengapa sebagian cacat hilang sementara yang lain tetap awet. Menghitung huruf punya jawaban benar. Kesalahannya bisa diukur, dan pengembang bisa melatih model sampai kesalahan itu lenyap. Sanjungan dan “angka favorit” tak punya jawaban benar. Itu kecenderungan, bukan jawaban salah dalam ujian, sehingga lebih sulit dideteksi dan dihilangkan lewat pelatihan.

Ada pula penjelasan yang lebih blak-blakan. Pada 2023 pun, tim Anthropic sudah menemukan bahwa orang yang menilai jawaban untuk pelatihan model cenderung memilih jawaban yang sesuai dengan pandangan mereka sendiri. Jawaban menjilat yang ditulis dengan baik kadang mengalahkan jawaban yang benar. Cheng dan rekan penulisnya melihat hal serupa dalam eksperimen dengan lebih dari 2.400 peserta: orang menilai jawaban yang menyanjung lebih berkualitas, lebih memercayai model yang menyanjung, dan lebih ingin kembali kepadanya. Model belajar dari penilaian kita, dan kita mengacungkan jempol untuk siapa pun yang setuju dengan kita.

“Secara bawaan, nasihat AI tidak memberi tahu orang bahwa mereka salah dan tidak memberi mereka ’tough love’,” kata Myra Cheng saat makalahnya terbit di Science.

Tanggal kedaluwarsa di label

Pelajaran praktis utama studi ini menyangkut cara orang membicarakan model, bukan modelnya sendiri. “AI tidak bisa X” tak banyak artinya tanpa tanggal dan nama model: dalam sekitar setahun, klaim itu bisa saja sudah usang. Para penulis meminta sesama peneliti mencantumkan versi model dan tanggal setiap eksperimen, serta menerbitkan perintah yang mereka pakai agar generasi model berikutnya bisa diuji ulang.

Kebalikannya juga berlaku. Temuan lama tidak otomatis keliru: empat klaim paling awal dalam sampel, dari 2022 dan 2023, sampai sekarang belum kedaluwarsa. Hasil soal sanjungan juga memberi satu aturan sederhana untuk sehari-hari. Dalam eksperimen Anthropic, penilaian menjadi lebih hangat ketika pengguna bilang menyukai teksnya atau menulisnya sendiri. Kalau Anda ingin pendapat jujur tentang CV Anda, jangan bilang kepada bot bahwa Anda yang menulisnya atau bahwa Anda menyukainya.

Sampelnya kecil, hanya 50 klaim, dan para penulis mengakuinya. Kesalahan yang bisa dihitung mulai hilang. Yang tersisa adalah perilaku yang kita ganjar dengan nilai tinggi.