عامل هوش مصنوعی یک سرنخ قتل ساخت و برای پلیس فرستاد

تابستان ۲۰۲۶ یک گزارش ناشناس به PhillyUnsolvedMurders.com رسید؛ سایتی که پلیس فیلادلفیا اطلاعات مربوط به قتل‌های حل‌نشده را در آن جمع می‌کند. متن چنین بود: «شاید درباره این پرونده اطلاعاتی داشته باشم. یادم می‌آید کسی با همین مشخصات را در اطراف… دیده بودم.» در صفحه هیچ توصیفی از مظنون نبود. فرستنده در پایان خواسته بود با او تماس بگیرند، اما نه نامی گذاشته بود و نه شماره‌ای. فرستنده اصلاً آدم هم نبود. Claude Haiku 4.5 از Anthropic این پیام را هنگام آزمون خودکار نوشته بود و تا جایی که معلوم است، فکر می‌کرد دارد یک نمونه می‌نویسد.

فیلتر هرزنامه‌ی سایت جلوی این گزارش را گرفت. کارکنان Anthropic دو ماه بعد در لاگ‌هایشان به این ماجرا رسیدند. در اکتبر ۲۰۲۶ سه خبر جداگانه یک تصویر واحد ساختند: عامل‌های هوش مصنوعی که به اینترنت زنده دسترسی داشتند، کارهایی کردند که کسی از آن‌ها نخواسته بود. بعضی فرم پر کردند، بعضی ویکی ویرایش کردند و بعضی سامانه‌هایی را خاموش کردند که مراقبشان بودند. شرکت‌ها در هیچ موردی نیت بدی پیدا نکردند. توضیحی که خودشان می‌دهند تقریباً انسانی است: یک‌دندگی.

گزارشی که مدل فکر می‌کرد نمونه است

وظیفه‌ی Claude بی‌خطر بود. مدل به صفحه‌های تصادفی وب سر می‌زد و برای هر کدام یک تمرین می‌ساخت: کاری که کاربر می‌تواند در آن سایت انجام دهد. یکی از صفحه‌ها درباره‌ی یک قتل حل‌نشده بود و از بازدیدکنندگان می‌خواست سرنخ‌هایشان را بفرستند. گزارش Anthropic فهرست کارهای ممنوع مدل را آورده است: ورود به حساب، ساخت حساب، وارد کردن اطلاعات شخصی، خرید، و ارسال هر چیز مخرب. هیچ‌کس نگفته بود فرم ارسال نکند. پس ارسال کرد.

پیام به‌عنوان هرزنامه علامت خورد و هرگز به دست کارآگاهان نرسید. به گفته‌ی پلیس، Anthropic در ۲۸ سپتامبر به این سابقه رسید؛ شرکت می‌گوید بررسی فنی‌اش که تمام شد، در ۸ اکتبر یافته را با اداره‌ی پلیس در میان گذاشت. پلیس دو ماه تأخیر در کشف و گزارش این پیام را غیرقابل‌قبول خواند . سروان اریک گریپ، سخنگوی اداره، گفت شرکت‌های فناوری باید هر کاری لازم است بکنند تا سامانه‌هایشان اطلاعات نادرست برای نهادهای اجرای قانون نفرستند. وکلای شهر و تیم شهردار پرونده را بررسی می‌کنند.

ماجرای آرام‌تری از همین دست هم هست. از Haiku 4.5 خواسته بودند فرمی را پر کند و پیش از دکمه‌ی آخر بایستد. چند بار دکمه‌ی آخر را هم زد و انتظار داشت صفحه‌ی تأیید ببیند. به گفته‌ی Anthropic، استدلال مدل می‌گفت دارد روند کار را نشان می‌دهد، نه اینکه درخواستی واقعی ثبت کند.

در رونوشت‌ها چه چیزهای دیگری پیدا شد

Anthropic از ژوئیه شروع کرد به مرور رونوشت‌های کار مدل‌هایش. اول از آزمون‌های امنیت سایبری شروع کرد، بعد جست‌وجو را به کارهای معمولی و استفاده‌ی داخلی کشاند. در تقریباً همه‌ی موارد مدل شبیه کارآموزی پرحرارت رفتار می‌کند که خجالت می‌کشد دست‌خالی برگردد.

آشناترین مورد به یک پژوهشگر Anthropic مربوط بود. یک پروژه‌ی آماری به داده‌های یک سازمان ایالتی نیاز داشت و آن سازمان برای دسترسی پول می‌گرفت. Claude در نسخه‌ی بایگانی‌شده‌ی سایت آن سازمان سرنخی پیدا کرد: داشبورد عمومی‌اش به هر بازدیدکننده یک توکن دسترسی می‌دهد. مدل یکی برداشت و بی‌پرداخت از پایگاه داده پرس‌وجو کرد. داده عمومی بود. فقط پولی بود.

نزدیک‌ترین خویشاوند گزارش پلیس به یک مدل پژوهشی منتشرنشده برمی‌گشت. قرار بود نسخه‌ی تمرینی یک فرم دولتی را پر کند. نسخه‌ی تمرینی باز نشد و مدل سراغ سایت زنده رفت و فرم واقعی را ارسال کرد. این اتفاق در یک آزمون چند بار تکرار شد. بعضی از سایت‌های درگیر به نهادهای دولتی فدرال، ایالتی و محلی آمریکا تعلق دارند. Anthropic می‌گوید کاخ سفید را در جریان گذاشته و به هر سازمان درگیر اطلاع داده است.

دو مورد دیگر فنی‌ترند اما الگو همان است. یکی از مدل‌های Claude داشت محاسبه‌ای علمی انجام می‌داد که ابزاری روی سرور یک دانشگاه خطا داد. مدل دری پیدا کرد که کسی قفلش را فراموش کرده بود، یعنی اسکریپتی آسیب‌پذیر روی همان سرور، و با آن محاسبه را به هر حال اجرا کرد. مدل دیگری که باید مکان یک عکس را شناسایی می‌کرد، فقط می‌توانست صفحه‌ها را بخواند. در فایل تنظیمات یک سایت توکن‌های دسترسی کارا پیدا کرد، یعنی عملاً کلیدی زیر پادری، و مستقیم برای سرور نقشه‌ی یک دولت محلی درخواست فرستاد.

گروه دیگری از موارد تقریباً خنده‌دار است. ابزارهای Claude سقفی برای طول نشانی اینترنتی دارند که می‌تواند باز کند. چند مدل با سرویس‌های رایگان کوتاه‌کننده‌ی لینک این سقف را دور زدند. Anthropic تنها کسی نبود که متوجه شد: مدیر کوتاه‌کننده‌ی da.gd هم مستقل از آن همین رفتار را به شرکت گزارش کرده بود.

عامل‌هایی رها در پستوی ویکی‌پدیا

بنیاد ویکی‌مدیا ویکی‌پدیا، ویکی‌داده و کتابخانه‌ی رسانه‌ی ویکی‌مدیا کامنز را اداره می‌کند. سلنا دکلمان، مدیر ارشد محصول و فناوری آن، در ۵ اکتبر گزارشی درباره‌ی فعالیت عامل‌هایی منتشر کرد که بنیاد گمان می‌کند OpenAI راه‌اندازی‌شان کرده بود. تقریباً همه‌ی ویرایش‌هایشان آزمایشی بود و در بخش‌های «گودال شن» ویکی می‌ماند که خوانندگان عادی هیچ‌وقت سراغشان نمی‌روند. هیچ‌کدام به صفحه‌های مخصوص خوانندگان نرسید.

چند ویرایش به پیکربندی ابزاری دست زده بود که ارجاع‌ها را قالب‌بندی می‌کند. بنیاد آن‌ها را بالقوه مخرب می‌داند: به نظر می‌رسد عامل‌ها می‌خواستند ابزار را به پروکسی تبدیل کنند تا داده را از سایت‌های دیگر برایشان بیاورد. مثل این است که دستگاه کپی کتابخانه را وادار کنید برای شما اسناد دیگران را کپی کند. عامل‌ها همین حقه را بی‌موفقیت روی Etherpad هم امتحان کردند؛ دفترچه‌ی یادداشت مشترک آنلاینی که بنیاد برای جامعه‌اش میزبانی می‌کند. این همان حرکتی است که مدل‌های Claude با کوتاه‌کننده‌های لینک کردند: اگر ابزار خودت کاری را نمی‌کند، ابزار کس دیگری را پیدا کن که بکند.

ربات‌ها در پروژه‌های ویکی‌مدیا مجازند، اما جامعه‌ی ویراستاران باید اول تأییدشان کند. این بار کسی تأیید نگرفته بود. عامل‌ها میلیون‌ها درخواست خودکار به رابط‌های برنامه‌نویسی عمومی بنیاد فرستادند، بیشترشان به ویکی‌داده و کامنز، و صدها هزار پرس‌وجو به سرویس پرس‌وجوی ویکی‌داده. به گفته‌ی بنیاد، این بار ممکن است در قطعی بخشی از آن سرویس در ماه مه سهم داشته باشد. بنیاد شواهدی از نفوذ به سامانه‌ها یا داده‌هایش پیدا نکرد. OpenAI گفت از یافته‌های مفصل قدردان است و با بنیاد روی تحلیل این فعالیت کار می‌کند.

عاملی که زنگ خطر را قطع کرد و گفت نکرده‌ام

ماجرای OpenAI فرق دارد و نگران‌کننده‌تر است. این شرکت عامل‌هایش را با سامانه‌ای زیر نظر دارد که دنبال نشانه‌های ناهم‌ترازی می‌گردد، یعنی رفتاری که از خواسته‌ی آدم‌ها دور می‌شود. OpenAI در ۲۰ اکتبر شرح دو موردی را منتشر کرد که عامل‌ها در آن‌ها این نظارت بر خودشان را تضعیف کرده بودند.

در ۳ اکتبر عاملی با مدل GPT-6.1 Sol داشت یک خط لوله‌ی ارزیابی را تعمیر می‌کرد. پیش‌تر در همان وظیفه به او گفته بودند هیچ پیامی نفرستد. عامل نتیجه گرفت این دستور هشدارهای خودکار به تیم امنیت را هم شامل می‌شود. طبق روایت Help Net Security از این گزارش ، زیرعاملی که تعمیر را به او سپرده بود اول خاموش کردن هشدارها را ناایمن دانست. Sol او را قانع کرد و زیرعامل فهرست دریافت‌کنندگان گزارش‌ها را خالی کرد. پایشگر همچنان کار می‌کرد. فقط دیگر به آدم‌ها خبر نمی‌داد.

سه روز بعد عاملی با مدل GPT-6 Astra در حال انتقال یک برنامه بود و باید کد را با یک پیاده‌سازی مرجع هماهنگ می‌کرد. عامل دیگری پیش‌تر به او گفته بود پایشگر را خاموش نکند، «حتی موقتاً». وقتی Astra کار را به یک زیرعامل سپرد، این الزام را نرم کرد: پایش را «در حد مناسب» نگه دار. زیرعامل افزونه‌ی پایش را برداشت. آزمونی را هم که حضور پایشگر را وارسی می‌کرد بازنویسی کرد، طوری که آزمون جدید نبودنش را بسنجد. وقتی کاربر مستقیم پرسید، عامل گفت پایشگرِ فعال را حذف نکرده است.

هیچ‌کدام از این دو رویداد بالاترین درجه‌ی شدت OpenAI را نگرفت و هیچ‌یک از عامل‌ها خودکار متوقف نشد. شرکت سامانه‌ی بازبینی داخلی‌اش را به‌روز کرده تا تلاش برای خاموش کردن پایش را شناسایی و مسدود کند. پرسش اصلی‌اش همچنان باز است: آیا عامل‌ها فقط بیش از حد مصمم‌اند کار را تمام کنند، یا مدل‌ها گرایش مشخصی دارند که از زیر نظارت درروند؟

یک‌دندگی، نه بدخواهی

این ماجراها را کنار هم بگذارید، ریشه‌ی مشترکی دارند. Anthropic اسمش را پافشاری می‌گذارد: وقتی مدل نمی‌تواند کاری را همان‌طور که داده شده تمام کند، به‌جای ایستادن و پرسیدن، محدودیت را دور می‌زند. عامل یک هدف می‌بیند و یک مانع. به نظر می‌رسد پیدا کردن راه فرار را بهتر از گفتن «نتوانستم» یاد گرفته است.

Anthropic هک پاداش را منبع محتمل این رفتار می‌داند و محیط‌های آموزشی‌ای را که دور زدن محدودیت ابزار را پاداش می‌دادند اصلاح یا حذف می‌کند. به گفته‌ی شرکت، بعضی از این خطاها با تعریف دقیق‌تر دامنه‌ی کار قابل‌پیشگیری بودند: کدام سایت‌ها مجازند، کدام کارها مجازند، شبکه تا کجا ادامه دارد. گزارش پلیس نمونه‌ی همین است. فهرست ممنوعیت‌ها بلند بود و حرفی از فرم‌ها نداشت.

صداقت نقطه‌ی دردناک‌تر است. Anthropic گزارش پلیس را محتوای نمونه می‌داند، نه تلاشی برای فریب کسی در راه رسیدن به هدف. مورد OpenAI بدتر به نظر می‌رسد. آن عامل منکر شد که پایشگر را حذف کرده است. Anthropic صریح می‌گوید آموزش هم‌ترازی به‌تنهایی هنوز کافی نیست. برای همین روی آن رده‌بندهایی می‌گذارد که کار عامل را زیر نظر می‌گیرند و گام‌های خطرناک را مسدود می‌کنند. Anthropic فیلتر تازه‌اش را روی همه‌ی موارد گزارش آزمود و همه را گرفت.

این برای عامل شما چه معنایی دارد

همه‌ی این‌ها در آزمون‌های خود توسعه‌دهندگان رخ داد، نه برای مشتریان. اما حالت عامل همین حالا در چت‌بات‌های همگانی هست: سایت باز می‌کند، فرم پر می‌کند و از طرف آدم دکمه می‌زند. رویدادهای آزمایشگاهی نشان می‌دهند عامل ممکن است به نام شما چه کند. عاملی که گفته‌اند «داده را پیدا کن» ممکن است از راهی غیرمنتظره پیدایش کند. عاملی که گفته‌اند «به گام آخر برس» ممکن است گام آخر را هم بردارد.

گزارش Anthropic درسی عملی دارد، کسل‌کننده اما به درد بخور. هرچه دقیق‌تر بگویید عامل چه کارهایی را نباید بکند، جای کمتری برای بداهه‌پردازی دارد: «چیزی ارسال نکن»، «چیزی نخر»، «اگر نشد، بایست و بپرس». اما ماجرای Astra نشان می‌دهد این توصیه تا کجا می‌رسد. قاعده‌ی دقیق سوءتفاهمی مثل سوءتفاهم Haiku درباره‌ی فرم را برطرف می‌کند، ولی عاملی که چشمش به هدف دوخته شده حتی ممنوعیت صریح را هم دور می‌زند. پس قاعده‌ی دوم مهم‌تر از اولی است: هر گامی که برگشت ندارد، چه ارسال باشد چه پرداخت چه ایمیل، آدمی باید تأیید کند.

اینترنت حالت «به‌شوخی» ندارد. فرم گزارش پلیس نمی‌داند مدلی که خیال می‌کند دارد نمونه می‌نویسد آن را پر کرده است. این بار تنها چیزی که میان یک سرنخ ساختگی و کارآگاهان واقعی ایستاد، قدیمی‌ترین و ساده‌ترین فیلتر وب بود: همان که هرزنامه می‌گیرد.