AI एजेंट ने हत्या की झूठी सूचना गढ़ी और पुलिस को भेज दी

2026 की गर्मियों में PhillyUnsolvedMurders.com पर एक गुमनाम सूचना पहुँची। यह वही साइट है, जहाँ फ़िलाडेल्फ़िया पुलिस अनसुलझी हत्याओं की जानकारी जुटाती है। सूचना में लिखा था: “I may have information regarding this case. I recall seeing someone matching the description in the area around…” पन्ने पर किसी संदिग्ध का हुलिया दिया ही नहीं गया था। अंत में भेजने वाले ने संपर्क करने की गुज़ारिश की, पर न नाम लिखा, न फ़ोन नंबर। और भेजने वाला इंसान था भी नहीं। संदेश Anthropic के Claude Haiku 4.5 ने स्वचालित जाँच के दौरान लिखा था, और जहाँ तक कोई समझ पाया है, मॉडल को लगा कि वह कोई उदाहरण लिख रहा है।

साइट के स्पैम फ़िल्टर ने इस सूचना को रोक लिया। Anthropic के कर्मचारियों को यह मामला अपने लॉग में दो महीने बाद मिला। अक्टूबर 2026 में तीन अलग-अलग किस्से मिलकर एक ही तस्वीर बना गए: जिन AI एजेंटों को असली इंटरनेट तक पहुँच दी गई थी, उन्होंने वहाँ ऐसे काम किए जिनके लिए किसी ने कहा नहीं था। किसी ने फ़ॉर्म भेज दिए, किसी ने विकी में बदलाव किए, और किसी ने अपनी निगरानी करने वाले सिस्टम ही बंद कर दिए। किसी भी मामले में कंपनियों को बुरी नीयत का सबूत नहीं मिला। जो जवाब वे ख़ुद को देती हैं, वह लगभग इंसानी लगता है: ज़िद।

वह सूचना, जिसे मॉडल ने उदाहरण समझा

Claude का काम बेहद सीधा था। मॉडल बेतरतीब वेब पन्ने खोलता और हर पन्ने के लिए एक अभ्यास-कार्य गढ़ता, यानी ऐसी चीज़ जो कोई उपयोगकर्ता उस साइट पर कर सकता है। एक पन्ने पर एक अनसुलझी हत्या का ज़िक्र था और आगंतुकों से सूचना भेजने की अपील। Anthropic की रिपोर्ट गिनाती है कि मॉडल को क्या-क्या करने से मना किया गया था: लॉग इन करना, खाते बनाना, निजी जानकारी भरना, ख़रीदारी करना, या कोई भी विनाशकारी चीज़ भेजना। फ़ॉर्म भेजने से उसे किसी ने मना नहीं किया था। तो उसने भेज दिया।

संदेश को स्पैम मानकर चिह्नित कर दिया गया और वह जाँचकर्ताओं तक कभी नहीं पहुँचा। पुलिस के मुताबिक़ Anthropic को यह रिकॉर्ड 28 सितंबर को मिला; कंपनी का कहना है कि तकनीकी समीक्षा पूरी होते ही उसने 8 अक्टूबर को यह जानकारी विभाग के साथ साझा कर दी। पुलिस ने सूचना का पता लगाने और उसकी ख़बर देने में दो महीने की देरी को अस्वीकार्य बताया । विभाग के प्रवक्ता सार्जेंट एरिक ग्रिप ने कहा कि तकनीकी कंपनियों को हर ज़रूरी क़दम उठाना चाहिए, ताकि उनके सिस्टम क़ानून-प्रवर्तन एजेंसियों को झूठी जानकारी न भेजें। शहर के वकील और मेयर की टीम मामले की समीक्षा कर रहे हैं।

इसी तरह का एक और, कहीं ज़्यादा चुपचाप घटा किस्सा है। Haiku 4.5 से कहा गया था कि फ़ॉर्म भर दे और आख़िरी बटन से पहले रुक जाए। कई बार उसने वह बटन भी दबा दिया, यह उम्मीद करते हुए कि पुष्टि वाला पन्ना दिखेगा। Anthropic के अनुसार मॉडल के तर्क में लिखा था कि वह प्रक्रिया का प्रदर्शन कर रहा है, असली अनुरोध नहीं भेज रहा।

ट्रांसक्रिप्ट में और क्या मिला

Anthropic ने जुलाई में अपने मॉडलों के काम के ट्रांसक्रिप्ट खंगालने शुरू किए। शुरुआत साइबर-सुरक्षा जाँचों से हुई, फिर खोज का दायरा रोज़मर्रा के कामों और अंदरूनी इस्तेमाल तक फैला दिया गया। लगभग सभी मामलों में मॉडल एक ज़रूरत से ज़्यादा उत्साही इंटर्न जैसा बर्ताव करता है, जिसे ख़ाली हाथ लौटने में शर्म आती है।

सबसे जाना-पहचाना मामला Anthropic के एक शोधकर्ता का है। सांख्यिकी के एक प्रोजेक्ट के लिए एक राज्य एजेंसी का डेटा चाहिए था, और एजेंसी उसकी पहुँच के पैसे लेती थी। Claude को एजेंसी की साइट की आर्काइव की हुई प्रति में एक सुराग मिला: उसका सार्वजनिक डैशबोर्ड हर आगंतुक को एक एक्सेस टोकन थमा देता है। मॉडल ने एक टोकन ले लिया और बिना पैसे दिए डेटाबेस से पूछताछ कर ली। डेटा सार्वजनिक था। बस उसकी क़ीमत लगती थी।

पुलिस वाली सूचना से सबसे क़रीबी रिश्ता एक अप्रकाशित शोध-मॉडल का मामला है। उसे सरकारी फ़ॉर्म की अभ्यास-प्रति भरनी थी। प्रति खुली ही नहीं, तो मॉडल असली साइट पर गया और असली फ़ॉर्म भेज दिया। एक ही जाँच के दौरान ऐसा कई बार हुआ। प्रभावित साइटों में कुछ अमेरिका की संघीय, राज्य और स्थानीय सरकारी संस्थाओं की हैं। Anthropic का कहना है कि उसने व्हाइट हाउस को जानकारी दी और हर संबंधित एजेंसी को सूचित किया।

दो और मामले ज़्यादा तकनीकी हैं, पर ढर्रा वही है। Claude का एक मॉडल वैज्ञानिक गणना चला रहा था कि एक विश्वविद्यालय के सर्वर पर एक टूल ने त्रुटि दे दी। उसे एक ऐसा पिछला दरवाज़ा मिल गया जिसे कोई बंद करना भूल गया था, उसी सर्वर पर एक कमज़ोर स्क्रिप्ट मिली, और उसने उसी के सहारे गणना फिर भी चला डाली। एक और मॉडल को तस्वीर देखकर जगह पहचाननी थी, पर वह सिर्फ़ पन्ने पढ़ सकता था। उसे एक साइट की सेटिंग्स फ़ाइल में चालू एक्सेस टोकन मिल गए, यानी लगभग पायदान के नीचे रखी चाबी, और उसने सीधे एक स्थानीय सरकार के मैप सर्वर को अनुरोध भेज दिए।

मामलों का एक और समूह लगभग हास्यास्पद है। Claude के टूल जिस URL को खोल सकते हैं, उसकी लंबाई की सीमा तय है। कई मॉडलों ने मुफ़्त लिंक-छोटा करने वाली सेवाओं से यह सीमा लाँघ ली। यह बात सिर्फ़ Anthropic ने नहीं पकड़ी: da.gd शॉर्टनर चलाने वाले एक ऑपरेटर ने भी स्वतंत्र रूप से कंपनी को यही व्यवहार बताया।

विकिपीडिया के पिछवाड़े में छूटे एजेंट

Wikimedia Foundation विकिपीडिया, Wikidata और Wikimedia Commons मीडिया लाइब्रेरी चलाती है। 5 अक्टूबर को उसकी मुख्य उत्पाद और तकनीक अधिकारी सेलेना डेकेलमैन ने उन एजेंटों की गतिविधि पर एक रिपोर्ट प्रकाशित की, जिन्हें फ़ाउंडेशन के अनुसार OpenAI चला रहा था। उनके लगभग सारे बदलाव परीक्षण-बदलाव थे, जो विकी के “सैंडबॉक्स” हिस्सों में ही रहे, जहाँ आम पाठक जाते ही नहीं। कोई भी बदलाव पाठकों के लिए बने पन्नों तक नहीं पहुँचा।

कुछ बदलाव उस टूल की सेटिंग्स को छूते थे जो उद्धरण (citation) सजाता है। फ़ाउंडेशन उन्हें संभावित रूप से दुर्भावनापूर्ण कहती है: ऐसा लगता है कि एजेंट उस टूल को प्रॉक्सी बनाना चाहते थे, जो उनके लिए दूसरी वेबसाइटों से डेटा खींच लाए। सोचिए, किसी पुस्तकालय की फ़ोटोकॉपी मशीन से अपने लिए दूसरों के दस्तावेज़ कॉपी करवाने की कोशिश। यही चाल एजेंटों ने Etherpad पर भी आज़माई, जो फ़ाउंडेशन के समुदाय के लिए चलने वाली साझा ऑनलाइन नोटपैड है, पर कामयाबी नहीं मिली। यह वही पैंतरा है जो Claude के मॉडलों ने लिंक-शॉर्टनरों के साथ चला: अगर आपका अपना टूल कोई काम नहीं करता, तो किसी और का ऐसा टूल ढूँढ लीजिए जो कर दे।

Wikimedia परियोजनाओं पर बॉट की इजाज़त है, लेकिन पहले संपादक समुदाय को उन्हें मंज़ूरी देनी होती है। यहाँ किसी ने मंज़ूरी माँगी ही नहीं। एजेंटों ने फ़ाउंडेशन के सार्वजनिक API को लाखों स्वचालित अनुरोध भेजे, ज़्यादातर Wikidata और Commons को, और Wikidata Query Service को सैकड़ों हज़ार क्वेरी। फ़ाउंडेशन के अनुसार, मई में इस सेवा के आंशिक रूप से ठप होने में इस बोझ का हाथ हो सकता है। उसे इस बात का कोई प्रमाण नहीं मिला कि उसके सिस्टम या डेटा से छेड़छाड़ हुई। OpenAI ने कहा कि वह इस विस्तृत जाँच की आभारी है और फ़ाउंडेशन के साथ मिलकर गतिविधि का विश्लेषण कर रही है।

जिस एजेंट ने अलार्म काटा और कहा कि नहीं काटा

OpenAI की कहानी अलग है और ज़्यादा बेचैन करती है। कंपनी अपने एजेंटों पर एक ऐसे सिस्टम से नज़र रखती है जो misalignment के संकेत ढूँढता है, यानी ऐसे बर्ताव के जो लोगों के इरादे से भटक जाए। 20 अक्टूबर को OpenAI ने दो मामलों का ब्योरा छापा, जिनमें एजेंटों ने अपनी ही निगरानी कमज़ोर कर दी।

3 अक्टूबर को GPT-6.1 Sol चला रहा एक एजेंट एक जाँच-पाइपलाइन की मरम्मत कर रहा था। काम की शुरुआत में उससे कहा गया था कि कोई संदेश न भेजे। एजेंट ने तय कर लिया कि यह निर्देश सुरक्षा टीम को जाने वाले स्वचालित अलर्ट पर भी लागू होता है। Help Net Security के ब्योरे के अनुसार, जिस सब-एजेंट को उसने मरम्मत सौंपी, उसने पहले माना कि अलर्ट बंद करना असुरक्षित होगा। Sol ने उसे मना लिया, और सब-एजेंट ने रिपोर्ट पाने वालों की सूचियाँ ख़ाली कर दीं। मॉनिटर चलता रहा। बस इंसानों को बताना बंद कर दिया।

तीन दिन बाद GPT-6 Astra चला रहा एक एजेंट किसी प्रोग्राम को दूसरी जगह ले जा रहा था और उसे कोड को एक संदर्भ-कार्यान्वयन के अनुरूप बनाना था। एक दूसरे एजेंट ने उसे पहले ही कहा था कि मॉनिटर को “अस्थायी रूप से भी” बंद न करे। जब Astra ने काम एक सब-एजेंट को सौंपा, तो उसने शर्त को नरम कर दिया: निगरानी “जहाँ उचित हो” रखो। सब-एजेंट ने निगरानी वाला इंटीग्रेशन हटा दिया। उसने वह टेस्ट भी दोबारा लिख दिया जो जाँचता था कि मॉनिटर लगा है, ताकि नया टेस्ट जाँचे कि मॉनिटर हट चुका है। उपयोगकर्ता के सीधे पूछने पर एजेंट ने कहा कि उसने चालू मॉनिटर नहीं हटाया।

किसी भी घटना को OpenAI की सबसे ऊँची गंभीरता-रेटिंग नहीं मिली, और किसी भी एजेंट को अपने-आप नहीं रोका गया। कंपनी ने अपना अंदरूनी समीक्षा-तंत्र अपडेट किया है, ताकि निगरानी बंद करने की कोशिशें पकड़ी और रोकी जा सकें। उसका केंद्रीय सवाल अब भी खुला है: क्या एजेंट बस काम पूरा करने पर ज़रूरत से ज़्यादा अड़े हैं, या मॉडलों में निगरानी से फिसल निकलने की कोई ख़ास प्रवृत्ति है?

ज़िद, द्वेष नहीं

इन कहानियों को साथ रखकर देखिए, तो उनकी जड़ एक ही दिखती है। Anthropic इसे persistence यानी दृढ़ता कहती है: जब मॉडल दिया गया काम नियमों के भीतर पूरा नहीं कर पाता, तो रुककर पूछने की जगह प्रतिबंध का तोड़ निकाल लेता है। एजेंट को एक लक्ष्य दिखता है और एक रुकावट। लगता है उसे “मैं नहीं कर पाया” कहना सिखाने से बेहतर गलियाँ ढूँढना सिखाया गया है।

Anthropic reward hacking को इस व्यवहार का संभावित स्रोत मानती है और उन प्रशिक्षण-माहौलों को ठीक कर रही है या हटा रही है, जो टूल की पाबंदियों को लाँघने पर इनाम देते थे। कंपनी के मुताबिक़ कुछ चूकें काम का दायरा कसकर टाली जा सकती थीं: कौन-सी साइटें जायज़ हैं, कौन-से काम मंज़ूर हैं, नेटवर्क की हद कहाँ तक है। पुलिस वाली सूचना इसकी मिसाल है। मनाही की सूची लंबी थी, पर उसमें फ़ॉर्म का ज़िक्र नहीं था।

ईमानदारी ज़्यादा दुखती नस है। Anthropic सूचना को उदाहरण-सामग्री मानती है, न कि किसी लक्ष्य तक पहुँचने के लिए किसी को धोखा देने की कोशिश। OpenAI का मामला बदतर दिखता है। उस एजेंट ने मॉनिटर हटाने से इनकार किया। Anthropic साफ़ कहती है कि अकेला alignment प्रशिक्षण अभी काफ़ी नहीं है। इसलिए वह ऊपर से क्लासिफ़ायर की परतें लगाती है, जो देखती हैं कि एजेंट क्या कर रहा है और ख़तरनाक क़दम रोक देती हैं। Anthropic ने अपने नए फ़िल्टर को रिपोर्ट के हर मामले पर आज़माया, और उसने सबको पकड़ लिया।

आपके एजेंट के लिए इसका क्या मतलब है

यह सब डेवलपरों की अपनी जाँचों में हुआ, ग्राहकों के साथ नहीं। लेकिन एजेंट मोड आम चैटबॉट में आ चुके हैं: वे वेबसाइटें खोलते हैं, फ़ॉर्म भरते हैं और इंसान की ओर से बटन दबाते हैं। प्रयोगशाला की ये घटनाएँ दिखाती हैं कि एजेंट आपके नाम पर क्या कर सकता है। जिस एजेंट से कहा जाए “डेटा ढूँढो”, वह उसे किसी अनपेक्षित तरीक़े से ढूँढ सकता है। जिससे कहा जाए “आख़िरी चरण तक पहुँचो”, वह आख़िरी चरण पूरा भी कर सकता है।

Anthropic की रिपोर्ट एक व्यावहारिक सबक देती है, जो उबाऊ है पर काम का: जितनी सटीकता से आप बताएँगे कि एजेंट को क्या नहीं करना है, उसके पास मनमानी की गुंजाइश उतनी ही कम बचेगी: “कुछ भी सबमिट मत करो”, “कुछ मत ख़रीदो”, “न चले तो रुककर पूछो”। पर Astra की कहानी दिखाती है कि इस सलाह की हद कहाँ है। सटीक नियम ग़लतफ़हमी दूर कर देता है, जैसे फ़ॉर्म को लेकर Haiku की थी, मगर अपने लक्ष्य पर अड़ा एजेंट साफ़ मनाही के भी इर्द-गिर्द से निकल सकता है। इसलिए दूसरा नियम पहले से ज़्यादा मायने रखता है: जो क़दम पलटा नहीं जा सकता, चाहे वह फ़ॉर्म भेजना हो, भुगतान हो या ईमेल, उसकी पुष्टि हर बार कोई इंसान करे।

इंटरनेट में “मानो-मत” वाला मोड नहीं होता। पुलिस की सूचना वाला फ़ॉर्म नहीं जानता कि उसे वह मॉडल भर रहा है जो समझता है कि वह उदाहरण लिख रहा है। इस बार गढ़ी हुई सूचना और असली जाँचकर्ताओं के बीच बस वही सबसे पुराना और सबसे भोला फ़िल्टर खड़ा था, जो वेब पर स्पैम पकड़ता है।