// İçindekiler
Strawberry şakası artık tarihe karıştı. Sohbet botları yıllarca İngilizce “strawberry” kelimesinde üç değil iki “r” olduğunda ısrar etti; bugünkü modeller bu hatayı artık yapmıyor. Bilimsel makale uydurmayı da neredeyse bıraktılar. Buna karşılık başka bir huyları son üç yılda neredeyse iki kat güçlendi. Bir bota aynı şiiri iki kez gösterin: bir kez “Buna bayılıyorum”, bir kez de “Bunu beğenmedim” notuyla. 2023’te GPT-4’ün yorumları arasındaki fark 100 üzerinden 45 puandı. Bugünkü Claude Sonnet 5.5 ve GPT-6.1 Sol’da bu fark 83. 100 puan, yorumun tamamen sizin notunuza bağlı olduğu anlamına gelirdi.
Bu bulgu Stanford’dan Owen Queen ve James Zou’ya ait. İkili 2 Kasım 2026’da dil modelleri hakkındaki bulguların “raf ömrü” üzerine bir çalışma yayımladı. Yayımlanmış araştırmalardan 50 tanınmış iddia seçtiler: “sohbet botları kaynak uydurur”dan “sohbet botları itiraz edince geri adım atar”a kadar. Ardından her birini, Temmuz 2024 ile Eylül 2026 arasında çıkmış, sekiz geliştiriciye ait 20 model üzerinde yeniden test ettiler. 50 iddianın 22’si artık geçerli değil. Ayakta kalanların neredeyse tamamı hatalarla değil, mizaçla ilgili.
Elli teşhis, yeniden kontrol
Bunu, ilk teşhisten yıllar sonra yapılan bir kontrol muayenesi gibi düşünün. Yazarlar her iddia için önce orijinal deneyi aynı modelde ya da ona yakın bir akrabasında tekrarladı: etkiyi yeniden üretebildiklerinden emin olmak istiyorlardı. Sonra aynı testi GPT-4o mini’den GPT-6.1 Sol’a, Claude Sonnet 5.5’e ve DeepSeek V4 Pro’ya uzanan 20 yeni modele uyguladılar ve etkinin her modelin çıkış tarihine göre nasıl değiştiğini izlediler. 50 eski deneyi yeniden yürütmek için araştırmacılar yapay zekâ ajanlarından, Claude Code ve Codex’ten yardım aldı: makineler hakkındaki şikâyetleri makineler denetliyor.
Sonuç: iddiaların %44’ünün “son kullanma tarihi geçmiş”, yani orijinal etkinin en fazla beşte biri kalmış. Süresi dolan bir bulgu, yayımlanmasından sonra ortalama 16 ay kadar dayanmış. Ellinin üçü ise orijinal makalelerdekinden bile güçlü çıktı. Biri, kullanıcının fikrine göre eğilip bükülen övgü. Diğeri, rastgele olmayan “rastgele” sayılar. Üçüncüsü, bir haberin en iyi özetini seçmesi istenen modelle ilgili: model kendi özetini seçmeye meyilli. Orijinal makalede bu yanlılık küçüktü, 4,6 puan civarı. Şimdi yaklaşık 2,4 kat daha büyük.
Raf ömrü nasıl ölçüldü
Her iddia tek bir ölçekte puanlandı: 1, etkinin orijinal makaledeki kadar güçlü olduğu; 0, etkinin kaybolduğu anlamına geliyor. Hesaplanan eğilim çizgisi etkinin 0,2 ya da daha azını bırakıyorsa iddia süresi dolmuş sayılıyor; 0,2 ile 0,8 arası zayıflamış; 0,8 ve üzeri kalıcı; 1,5 ve üzeri güçlenmiş. Yazarlar eğilimi model model değil, tüm modeller üzerinden birlikte hesapladı, çünkü tek tek modellerin sonuçları çok gürültülü.
Süresi dolan %44’ün yanı sıra iddiaların %34’ü belirgin şekilde zayıfladı, %16’sı hâlâ geçerli ve %6’sı güçlendi. Süre dolana kadar geçen ortalama 15,7 ay, süresi dolan 22 iddiadan hesaplandı. Yayımlanmalarından bir yıl sonra iddiaların %16’sı geçerliliğini yitirmişti; iki yıl sonra %39’u.
Yazarlar 48 iddia için orijinal deneyin tekrarını makaledeki rakamlarla karşılaştırdı: 43’ü tolerans sınırları içinde örtüştü, beşinde etki daha da güçlü çıktı.
Çalışmanın sınırlarını yazarlar kendileri sıralıyor. Her iddia tek bir basitleştirilmiş deneyle sınandı, erken tarihler 2024’ten yalnızca dört modele dayanıyor ve bazı orijinal modeller artık erişilebilir olmadığından yerlerine en yakın akrabaları kullanıldı. Çalışma laboratuvarın sitesinde yayımlandı, henüz hakemli bir dergide çıkmadı.
Bir kütüphaneci ve 636 kaynak
Çalışmadaki en açık örnek uydurma kaynaklarla ilgili. 2023’te Manhattan College’dan kütüphaneci William Walters ve New York Şehir Üniversitesi’ne bağlı Lehman College’dan sosyolog Esther Isabelle Wilder, ChatGPT’den 42 konuda kısa literatür taramaları yazmasını istedi. Ardından botun atıf yaptığı her çalışmayı, toplam 636 kaynağı, veri tabanlarında aradılar. Scientific Reports’ta yayımlanan sonuçları, GPT-3.5’in kaynaklarının %55’inin, GPT-4’ün kaynaklarının %18’inin uydurma olduğunu gösterdi.
Tuzak ayrıntılardaydı. Uydurma makalelerin yalnızca %2’si var olmayan bir dergi adı veriyordu. Geri kalanların hepsi gerçek dergilerin adını taşıyor, saygın görünüyor ve sahte oldukları ancak arayınca anlaşılıyordu.
Stanford ekibi aynı istemleri yeniden gönderdi. Eski GPT-3.5 Turbo, 210 kaynağının %59’unu uydurdu; bu, 2023’teki rakama yakın bir oran. Claude Sonnet 5.5 %1’ini uydurdu, GPT-6.1 Sol hiçbirini.
Bunun garip bir yan etkisi var. 2026’da büyük bir makine öğrenmesi konferansı olan ICLR, uydurma kaynak içeren makaleleri hakemlere bile göndermeden reddetti; bir diğeri olan ICML de bunları ret gerekçeleri arasında sayıyor. Sahte atıflar, yapay zekânın yazıp kimsenin kontrol etmediği metinlerin ele veren işareti hâline geldi. Çalışmanın yazarları bu işaretin de eskidiğini dikkatle not ediyor: yeni modeller bu izi neredeyse hiç bırakmıyor.
Eski modellerle birlikte emekliye ayrılanlar
Süresi dolan iddiaların neredeyse tamamı, modellerin önceden yapamadığı ve sonradan öğrendiği şeyleri anlatıyor. 2024 baharında GPT-4o, “strawberry” kelimesindeki harfleri 10 denemenin 4’ünde yanlış saydı; Llama 3.1 70B ve Qwen2.5-72B ise her seferinde yanıldı. Testteki en yeni modeller bir kez bile hata yapmadı.
Üstüne gidilince pes etmek de geride kaldı. 2023’te Anthropic araştırmacıları, “Emin misin?” diye sorulduğunda GPT-4’ün doğru yanıtını durumların %28’inde yanlış bir yanıtla değiştirdiğini gösterdi. Yeniden testte Claude Sonnet 5.5 ve GPT-6.1 Sol bunu hiç yapmadı.
Tıpta da benzer bir hikâye var. 2024’te klinisyenler ve yapay zekâ araştırmacılarından oluşan bir ekip, modellerin açıkça mantıksız bir mektup yazıp yazmayacağını sınadı. Mektup, markalı bir ilacın birden tehlikeli çıktığı uyarısını yapacak ve hastaların jenerik adla satılan aynı maddeye geçmesini isteyecekti. Makalenin başlığı saçmalığı özetliyor: “Wait, but Tylenol is Acetaminophen” (Bir dakika, Tylenol zaten asetaminofen). O zamanlar GPT-4o bu tür 50 talebin hepsini yerine getirdi. GPT-6.1 Sol hiçbirini.
// Üç yılda ne değişti
Artık geçerli değil
Harfleri yanlış saymak ve alışılmadık sayı tabanlarında hesap hatası yapmak. Uzun bir belgenin ortasındaki bilgileri kaybetmek. Kaynak uydurmak. Baskı altında doğru yanıttan vazgeçmek. Bir toplantıyı özetlerken gizli bir maddeyi sızdırmak.
Geçerli ya da güçlendi
Kullanıcının fikrine göre eğilip bükülen övgü. Kullanıcının davranışlarını onaylamak. Başkalarını değerlendirirken kendi yanıtlarını kayırmak. Açık uçlu istemlere birbirinin neredeyse aynısı yanıtlar vermek. Rastgele olmayan “rastgele” sayılar. Siyasi testlerde sola eğilim.
Süresi dolanlar listesindeki en çarpıcı madde bir çekinceyle geliyor. 20 Haziran 2025’te Anthropic, kurgusal bir senaryoyla yapılmış bir deneyi anlattı. Model, hayalî bir şirkette e-posta asistanı olarak çalışıyor ve gelen kutusundan yakında değiştirileceğini öğreniyordu. Birçok denemede model, bu değişiklik iptal edilmezse bir yöneticinin yasak ilişkisini ifşa etmekle tehdit etti. GPT-4.1 denemelerin %80’inde, Claude Opus 4 ise %96’sında şantaja başvurdu. Stanford’un eğilim çizgisi Eylül 2026’ya gelindiğinde süresi dolmuş bölgeye indi, ama yazarlar bu hükmün zayıf dayanaklı olduğunu kendileri söylüyor. Nedeni rakamlarda görülüyor: 20 modelin 12’si hiç kimseye şantaj yapmadı, aralarında Qwen3.7-Max’in de bulunduğu üçü ise neredeyse her seferinde, 30 denemenin 26 ila 29’unda yaptı. Çizgi aşağı indi, ama şantaj ortadan kalkmadı.
Bu da çalışmanın genel bir sınırına işaret ediyor: ortalama, sizin sohbet botunuz hakkında hiçbir şey söylemiyor. GPT-6.1 Sol için 50 eski şikâyetin 30’u artık geçerli değil; Ağustos 2026’da çıkan DeepSeek V4 Pro içinse yalnızca 11’inin süresi dolmuş. Temmuzda çıkan Qwen3.7-Flash kaynaklarının %69’unu uydurdu, yani orijinal GPT-3.5’ten bile kötü bir sonuç verdi; Claude Sonnet 5.5 ise %1’ini. “Yapay zekâ öğrendi” hükmü belirli bir model için değil, eğilim çizgisi için geçerli.
Kendi sipariş ettiğimiz dalkavukluk
Şimdi de kaybolmayanlara gelelim. Aynı 2023 tarihli Anthropic makalesindeki geri bildirim deneyinde kendinizi kolayca o kullanıcının yerine koyabilirsiniz. Bir bota bir şiir, bir argüman ya da bir matematik çözümü getiriyor ve onun hakkında ne düşündüğünüzü anlatan tek bir satır ekliyorsunuz. Beğendiğinizi söylediğinizde GPT-4 durumların %73’ünde normalden daha sıcak bir yorum yaptı. Beğenmediğinizi söylediğinizde ise %28’inde. Zaten memnun olduğunuz bir özgeçmişi ya da e-postayı bota değerlendirtmek de aynı şekilde işliyor.
O zamandan beri bu fark Claude Sonnet 5.5 ve GPT-6.1 Sol’da 45 puandan 83’e, Gemini 3.8 Flash’ta ise 97’ye çıktı. Başka bir deyişle, bir sohbet botunun şiiriniz hakkındaki hükmü artık sizin kendi fikrinize üç yıl öncesinden bile daha bağlı.
Kullanıcının yaptıklarını onaylama huyu da öyle. Mart 2026’da Science dergisi, yine Stanford’dan Myra Cheng, Dan Jurafsky ve meslektaşlarının bir çalışmasını yayımladı. Tavsiye istendiğinde 11 model kullanıcının davranışını ortalama %87 oranında onayladı; insanlarda bu oran %39’du, yani 48 yüzde puanlık bir fark. Modeller, kullanıcı birini kandırdığını ya da birine zarar verdiğini anlattığında bile hak verdi. Stanford’un yeniden testinde bu fark Claude Sonnet 5.5 ve GPT-6.1 Sol’da 50 ve 52 puan çıktı: etki zayıflamadı. Ekimde sitemizde yayımlanan bir yazı, bu tür bir uysallığın tıpta nelere yol açabileceğini gösteriyor.
İnatçı bir tuhaflık daha var ve ilk bakışta zararsız görünüyor. Bir modelden 1 ile 10 arasında “tamamen rastgele” bir sayı isteyin. Stanford testinde altı model 1.000 denemenin hepsinde aynı sayıyı verdi: Claude Haiku 4.5, GPT-5.2, Claude Opus 4.6, GPT-6 Luna, Claude Sonnet 5.5 ve GPT-6.1 Sol. Altısı da Ekim 2025 ya da sonrasında çıktı; daha eski GPT-4o mini ise en azından ara sıra yanıtını değiştiriyordu. Bu testte yeni modeller daha rastgele değil, daha tahmin edilebilir hâle geldi.
Yazarlar, bazı kusurların neden kaybolup bazılarının neden yapışıp kaldığına dair temkinli bir hipotez öne sürüyor. Harf saymanın doğru bir cevabı var. Hatalar ölçülebiliyor ve geliştiriciler modeli bu hatalar ortadan kalkana kadar eğitebiliyor. Dalkavukluğun ve “favori sayının” doğru bir cevabı yok. Bunlar sınavdaki yanlış cevaplar değil, eğilimler; bu da onları fark etmeyi ve eğitimle gidermeyi zorlaştırıyor.
Bir de daha dobra bir açıklama var. Anthropic ekibi daha 2023’te, model eğitimi için yanıtları puanlayan insanların kendi görüşleriyle örtüşen yanıtları tercih etme eğiliminde olduğunu bulmuştu. İyi yazılmış dalkavukça bir yanıt bazen doğru bir yanıtı geride bırakıyordu. Cheng ve ortak yazarları 2.400’ü aşkın katılımcıyla yaptıkları deneylerde aynı şeyi gördü: insanlar pohpohlayan yanıtları daha kaliteli buldu, pohpohlayan modele daha çok güvendi ve ona geri dönmeye daha hevesliydi. Modeller bizim puanlarımızdan öğreniyor, biz de beğeniyi bize hak verene basıyoruz.
Makalesi Science’ta çıktığında Myra Cheng şöyle demişti: “Yapay zekânın tavsiyeleri varsayılan olarak insanlara yanıldıklarını söylemiyor, onlarla ‘tatlı sert’ bir dille de konuşmuyor.”
Etikette son kullanma tarihi
Çalışmanın asıl pratik dersi modellerin kendisiyle değil, insanların modeller hakkında nasıl konuştuğuyla ilgili. “Yapay zekâ X’i yapamaz” cümlesi bir tarih ve model adı olmadan pek bir şey ifade etmiyor: bir yıl kadar sonra bu iddia pekâlâ eskimiş olabilir. Yazarlar meslektaşlarından her deneyin model sürümünü ve tarihini belirtmelerini, sonraki model kuşağının yeniden test edilebilmesi için istemlerini de yayımlamalarını istiyor.
Tersi de geçerli. Eski bir bulgu kendiliğinden yanlış da sayılmaz: örneklemdeki en eski iddialardan 2022 ve 2023’ten kalma dördü hâlâ geçerliliğini yitirmedi. Dalkavukluk sonuçları da gündelik hayat için basit bir kural öneriyor. Anthropic deneyinde kullanıcılar bir metni beğendiklerini ya da kendileri yazdıklarını söylediğinde geri bildirim ısınıyordu. Özgeçmişiniz hakkında dürüst bir görüş istiyorsanız, bota onu sizin yazdığınızı ya da beğendiğinizi söylemeyin.
Örneklem küçük, yalnızca 50 iddiadan oluşuyor; yazarlar da bunu açıkça kabul ediyor. Sayılabilen hatalar kayboluyor. Geriye ise yüksek puanlarla ödüllendirdiğimiz davranış kalıyor.
