اگر روز اول ژانویه دکمهٔ پخش همهٔ آهنگ‌های هوش مصنوعی را بزنید که Deezer در یک روز دریافت می‌کند و لحظه‌ای نخوابید، آخرین آهنگ روز هفتم ژوئیه تمام می‌شود. این سرویس روزانه حدود ۹۰٬۰۰۰ آهنگ کاملاً تولیدشده با هوش مصنوعی می‌پذیرد، یعنی بیش از نیمی از همهٔ موسیقی تازه‌ای که در آن بارگذاری می‌شود. و مخاطب اصلی‌شان ربات‌ها هستند.

در ۱۳ اکتبر ۲۰۲۶ دیزر قول داد پیش از پایان سال در اپلیکیشنش کلیدی اضافه کند که چنین موسیقی‌ای را از جست‌وجو حذف می‌کند. بهانهٔ خوبی است تا حساب کنیم واقعاً چقدر از آن هست و برای چه کسی است. اما دربارهٔ اینکه چطور می‌شود از آن پول درآورد، بهترین توضیح را مردی داده که ۶ اکتبر به ۱۸ ماه زندان محکوم شد: او نقشه را در ایمیلی به خودش شرح داده بود.

از چه شروع می‌کنیم

همهٔ این ارقام از خود دیزر آمده و ممیزی مستقلی پشتشان نیست. این سرویس فقط آهنگ‌هایی را می‌شمارد که آشکارساز آن‌ها را «کاملاً تولیدشده با هوش مصنوعی» تشخیص می‌دهد. آهنگ‌هایی که هوش مصنوعی فقط به یک موسیقیدان انسانی کمک کرده در این شمارش نیستند.

دیزر میانگین طول آهنگ‌های هوش مصنوعی را اعلام نمی‌کند. پس معیاری از پاپ معمولی قرض می‌گیریم: میانگین آهنگ‌های جدول‌های اسپاتیفای در ۲۰۲۴ حدود سه دقیقه بود. این مهم‌ترین فرض ماست و به آن برمی‌گردیم.

آپلودهای یک روز، شش ماه پخش

۹۰٬۰۰۰ آهنگ سه‌دقیقه‌ای می‌شود ۲۷۰٬۰۰۰ دقیقه. یعنی ۴٬۵۰۰ ساعت یا ۱۸۷ روز و نیم. از همین‌جا ۷ ژوئیه درمی‌آید: از نیمه‌شب اول ژانویه شروع کنید، آخرین آهنگ حوالی ظهر تمام می‌شود.

کسی بی‌خواب گوش نمی‌دهد، پس نسخهٔ ملایم‌تری هم بگوییم. با هفته‌ای ۴۰ ساعت، مثل یک کار اداری معمولی، ۱۱۲ هفته طول می‌کشد، یعنی بیش از دو سال بدون یک روز مرخصی. موسیقی ضبط‌شده به دست آدم‌ها را هم اضافه کنید، آپلودهای همان یک روز تقریباً یک سال پخش می‌شود.

و در تمام این مدت دیزر هر روز ۹۰٬۰۰۰ آهنگ دیگر هم دریافت می‌کرد.

۴۲ میلیون آهنگ، یا کنسرتی که از ۱۷۸۶ شروع شده

حالا سراغ کل آرشیو برویم. از ژانویهٔ ۲۰۲۵ آشکارساز دیزر بیش از ۴۲ میلیون آهنگ کاملاً تولیدشده با هوش مصنوعی را علامت زده است. با سه دقیقه برای هر آهنگ، می‌شود ۱۲۶ میلیون دقیقه یا ۲٫۱ میلیون ساعت. آن را بر ۲۴ ساعت و ۳۶۵ روز تقسیم کنید، حدود ۲۴۰ سال صدای بی‌وقفه به دست می‌آید.

اگر کسی در ۱۷۸۶، سالی که «عروسی فیگارو» اثر موتسارت در وین به صحنه رفت، شروع به گوش دادن کرده بود، همین حالا داشت به پایانش می‌رسید. و این آرشیو در کمتر از دو سال روی هم انباشته شده. در ژانویهٔ ۲۰۲۵ سرویس روزانه حدود ۱۰٬۰۰۰ آهنگ تولیدشده می‌گرفت؛ تا ژوئن ۲۰۲۶ این جریان نُه برابر شد.

برآورد ما کجا ممکن است خطا داشته باشد

عدد ۹۰٬۰۰۰ میانگین روزانهٔ ژوئنِ رکوردشکن است. در بهار جریان کمتر بود (در آوریل ۷۵٬۰۰۰ در روز) و در اکتبر هم دیزر هنوز از نزدیک به ۹۰٬۰۰۰ حرف می‌زند. سرویس‌های دیگر با این جزئیات گزارش نمی‌دهند، پس این حساب را نمی‌شود مستقیم به آن‌ها تعمیم داد: آنجا ممکن است بیشتر باشد یا کمتر.

اما مرتبهٔ بزرگی با هر اصلاحی سر جایش می‌ماند. حتی اگر نصف اشتباه کرده باشیم، آپلودهای هوش مصنوعیِ یک روز ماه‌ها پخش می‌شود و کل آرشیو بیش از یک قرن.

واقعاً چه کسی گوش می‌دهد

اینجا مقیاس برعکس می‌شود. موسیقی کاملاً تولیدشده با هوش مصنوعی فقط ۱ تا ۳ درصد استریم‌های دیزر را دارد. در ژانویهٔ ۲۰۲۶ این سرویس اعلام کرد که در ۲۰۲۵ تا ۸۵ درصد استریم‌های چنین آهنگ‌هایی تقلبی بوده است. ربات‌ها آن‌ها را ساخته بودند و دیزر این استریم‌ها را از محاسبهٔ حق‌الزحمه کنار گذاشت.

هزار استریم تصادفی در دیزر را در نظر بگیرید. بین ۱۰ تا ۳۰ تای آن‌ها به آهنگ‌های هوش مصنوعی می‌رسد. اگر برآورد بالای تقلب درست باشد، یک آدم واقعی از هر هزار بار، بین یک‌ونیم تا چهارونیم بار آهنگ هوش مصنوعی را انتخاب می‌کند. بیش از نیمی از همهٔ موسیقی تازه کسری از یک درصد توجه واقعی را می‌گیرد.

دلیلش این نیست که مردم جعلی بودنش را بشنوند و ردش کنند. در نظرسنجی‌ای که دیزر در نوامبر ۲۰۲۵ با Ipsos انجام داد، ۹۷ درصد از ۹٬۰۰۰ شرکت‌کننده در هشت کشور نتوانستند دو آهنگ هوش مصنوعی را از آهنگی که انسان‌ها ضبط کرده‌اند تشخیص دهند. به نظر می‌رسد دلیل جای دیگری است. دیزر این آهنگ‌ها را از توصیه‌های الگوریتمی و پلی‌لیست‌های تحریریه بیرون نگه می‌دارد، و بدون آن‌ها اتفاقی به یک آهنگ رسیدن تقریباً ناممکن است.

چرا موسیقی‌ای را آپلود کنیم که کسی نمی‌شنود

ماجرای مایکل اسمیت، موسیقیدان آمریکایی، جوابش را خوب می‌دهد. او از ۲۰۱۷ تا ۲۰۲۴ صدها هزار آهنگ تولیدشده با هوش مصنوعی را با نام‌های ساختگی مثل Calm Baseball، Calorie Screams و Camel Edible بارگذاری کرد و تا ۱۰٬۰۰۰ ربات را به سمتشان فرستاد. در ۶ اکتبر ۲۰۲۶ دادگاه فدرال نیویورک او را به ۱۸ ماه زندان محکوم کرد ، هرچند دادستان‌ها دست‌کم ۴۶ ماه خواسته بودند. اسمیت به دادگاه گفت : «به جامعهٔ موسیقی‌ای که این‌قدر دوستش دارم خیانت کردم.» او باید ۸٫۰۹ میلیون دلار را مصادره‌شده تحویل دهد.

خود اسمیت حساب را در ایمیلی که اکتبر ۲۰۱۷ به خودش فرستاد و بعدها به کیفرخواست راه یافت، نوشته بود. پنجاه‌ودو سرور ابری اجاره‌ای، یعنی عملاً ۵۲ کامپیوتر که هیچ‌وقت خاموش نمی‌شوند، با ۲۰ ربات روی هر کدام، در مجموع ۱٬۰۴۰ «شنونده». هر ربات می‌توانست روزانه ۶۳۶ آهنگ پخش کند، یعنی هر دو دقیقه و ربع یکی، بی‌خواب و بدون آخر هفته. روی هم ۶۶۱٬۴۴۰ استریم در روز. با برآورد خود او، نیم سنت برای هر استریم، حدود ۱٫۲ میلیون دلار در سال.

به همین دلیل حجم مهم است. یک میلیون پخش روی یک آهنگ فوراً سامانه‌های ضدتقلب را به حرکت درمی‌آورد. اسمیت در ایمیلی در ۲۰۱۸ توضیح داد که برای اینکه مشکلی برای مسئولان ایجاد نکند ، به حجم زیادی محتوا با تعداد استریم کم نیاز دارد. ۶۶۱٬۴۴۰ استریم روزانه را روی ۳۰۰٬۰۰۰ آهنگ پخش کنید، به هر کدام روزی حدود دو پخش می‌رسد، سالی حدود ۸۰۰. چنین آهنگی میان میلیون‌ها آهنگ واقعی گم می‌شود.

دقیقاً چنین نقشه‌ای هدف قاعده‌ای است که اسپاتیفای در آوریل ۲۰۲۴ معرفی کرد: برای آهنگ‌هایی که در ۱۲ ماه گذشته کمتر از ۱٬۰۰۰ استریم داشته‌اند دیگر پول نمی‌دهد . با این قاعده، هر آهنگ اسمیت سالی حدود ۲۰۰ استریم کم می‌آورد. برای اینکه پول بگیرد، باید ربات‌هایش را روی آهنگ‌های کمتری متمرکز می‌کرد، که شناسایی‌شان را آسان‌تر می‌کرد.

می‌ماند این پرسش که پول مال چه کسی است. سرویس استریم از جیب خودش پرداخت نمی‌کند: سهمی از درآمد را در یک صندوق مشترک کنار می‌گذارد و بر اساس سهم استریم‌ها تقسیم می‌کند. هر استریم جعلی سهم هر استریم واقعی را کم می‌کند. آهنگ‌هایی که حتی یک شنوندهٔ واقعی نداشتند، این پول را از پرداخت به موسیقیدانانی برداشتند که مردم واقعاً صدایشان را می‌شنوند. دیزر می‌گوید ۸ درصد همهٔ استریم‌های پلتفرمش در ۲۰۲۵ تقلبی بوده است. اگر جلویش گرفته نمی‌شد، از هر دوازده دلار صندوق نزدیک به یک دلار به ربات‌ها می‌رسید.

کلیدی برای کسانی که هنوز گوش می‌دهند

کلید دیزر آهنگ‌ها و آلبوم‌های کاملاً تولیدشده با هوش مصنوعی و هنرمندان وابسته به آن‌ها را از جست‌وجو پنهان می‌کند. در همان نظرسنجی Ipsos، ۴۵ درصد کاربران استریم گفتند چنین فیلتری می‌خواهند. آلکسیس لانترنیه، مدیرعامل دیزر، می‌گوید این کلید به کاربران اجازه می‌دهد موسیقی کاملاً تولیدشده با هوش مصنوعی را به‌کلی از تجربهٔ استریم خود حذف کنند.

ماشین آهنگ را می‌نویسد، ماشین پخشش می‌کند، و انسان فقط در یک سر این زنجیره می‌ماند: همان سری که پول به آن می‌رسد. در ژوئیه دیزر قول داد آهنگ‌های هوش مصنوعی را که در تقلب استریم گیر افتاده‌اند پاک کند، همراه آن‌هایی که دست‌کم شش ماه کسی پخششان نکرده است. و این قافیه‌ای تقریباً بی‌نقص می‌سازد. گوش دادن به آپلودهای یک روز بیش از شش ماه طول می‌کشد، و آهنگی که شش ماه کسی پخشش نکرده پاک می‌شود.

تابستان ۲۰۲۶ یک گزارش ناشناس به PhillyUnsolvedMurders.com رسید؛ سایتی که پلیس فیلادلفیا اطلاعات مربوط به قتل‌های حل‌نشده را در آن جمع می‌کند. متن چنین بود: «شاید درباره این پرونده اطلاعاتی داشته باشم. یادم می‌آید کسی با همین مشخصات را در اطراف… دیده بودم.» در صفحه هیچ توصیفی از مظنون نبود. فرستنده در پایان خواسته بود با او تماس بگیرند، اما نه نامی گذاشته بود و نه شماره‌ای. فرستنده اصلاً آدم هم نبود. Claude Haiku 4.5 از Anthropic این پیام را هنگام آزمون خودکار نوشته بود و تا جایی که معلوم است، فکر می‌کرد دارد یک نمونه می‌نویسد.

فیلتر هرزنامه‌ی سایت جلوی این گزارش را گرفت. کارکنان Anthropic دو ماه بعد در لاگ‌هایشان به این ماجرا رسیدند. در اکتبر ۲۰۲۶ سه خبر جداگانه یک تصویر واحد ساختند: عامل‌های هوش مصنوعی که به اینترنت زنده دسترسی داشتند، کارهایی کردند که کسی از آن‌ها نخواسته بود. بعضی فرم پر کردند، بعضی ویکی ویرایش کردند و بعضی سامانه‌هایی را خاموش کردند که مراقبشان بودند. شرکت‌ها در هیچ موردی نیت بدی پیدا نکردند. توضیحی که خودشان می‌دهند تقریباً انسانی است: یک‌دندگی.

گزارشی که مدل فکر می‌کرد نمونه است

وظیفه‌ی Claude بی‌خطر بود. مدل به صفحه‌های تصادفی وب سر می‌زد و برای هر کدام یک تمرین می‌ساخت: کاری که کاربر می‌تواند در آن سایت انجام دهد. یکی از صفحه‌ها درباره‌ی یک قتل حل‌نشده بود و از بازدیدکنندگان می‌خواست سرنخ‌هایشان را بفرستند. گزارش Anthropic فهرست کارهای ممنوع مدل را آورده است: ورود به حساب، ساخت حساب، وارد کردن اطلاعات شخصی، خرید، و ارسال هر چیز مخرب. هیچ‌کس نگفته بود فرم ارسال نکند. پس ارسال کرد.

پیام به‌عنوان هرزنامه علامت خورد و هرگز به دست کارآگاهان نرسید. به گفته‌ی پلیس، Anthropic در ۲۸ سپتامبر به این سابقه رسید؛ شرکت می‌گوید بررسی فنی‌اش که تمام شد، در ۸ اکتبر یافته را با اداره‌ی پلیس در میان گذاشت. پلیس دو ماه تأخیر در کشف و گزارش این پیام را غیرقابل‌قبول خواند . سروان اریک گریپ، سخنگوی اداره، گفت شرکت‌های فناوری باید هر کاری لازم است بکنند تا سامانه‌هایشان اطلاعات نادرست برای نهادهای اجرای قانون نفرستند. وکلای شهر و تیم شهردار پرونده را بررسی می‌کنند.

ماجرای آرام‌تری از همین دست هم هست. از Haiku 4.5 خواسته بودند فرمی را پر کند و پیش از دکمه‌ی آخر بایستد. چند بار دکمه‌ی آخر را هم زد و انتظار داشت صفحه‌ی تأیید ببیند. به گفته‌ی Anthropic، استدلال مدل می‌گفت دارد روند کار را نشان می‌دهد، نه اینکه درخواستی واقعی ثبت کند.

در رونوشت‌ها چه چیزهای دیگری پیدا شد

Anthropic از ژوئیه شروع کرد به مرور رونوشت‌های کار مدل‌هایش. اول از آزمون‌های امنیت سایبری شروع کرد، بعد جست‌وجو را به کارهای معمولی و استفاده‌ی داخلی کشاند. در تقریباً همه‌ی موارد مدل شبیه کارآموزی پرحرارت رفتار می‌کند که خجالت می‌کشد دست‌خالی برگردد.

آشناترین مورد به یک پژوهشگر Anthropic مربوط بود. یک پروژه‌ی آماری به داده‌های یک سازمان ایالتی نیاز داشت و آن سازمان برای دسترسی پول می‌گرفت. Claude در نسخه‌ی بایگانی‌شده‌ی سایت آن سازمان سرنخی پیدا کرد: داشبورد عمومی‌اش به هر بازدیدکننده یک توکن دسترسی می‌دهد. مدل یکی برداشت و بی‌پرداخت از پایگاه داده پرس‌وجو کرد. داده عمومی بود. فقط پولی بود.

نزدیک‌ترین خویشاوند گزارش پلیس به یک مدل پژوهشی منتشرنشده برمی‌گشت. قرار بود نسخه‌ی تمرینی یک فرم دولتی را پر کند. نسخه‌ی تمرینی باز نشد و مدل سراغ سایت زنده رفت و فرم واقعی را ارسال کرد. این اتفاق در یک آزمون چند بار تکرار شد. بعضی از سایت‌های درگیر به نهادهای دولتی فدرال، ایالتی و محلی آمریکا تعلق دارند. Anthropic می‌گوید کاخ سفید را در جریان گذاشته و به هر سازمان درگیر اطلاع داده است.

دو مورد دیگر فنی‌ترند اما الگو همان است. یکی از مدل‌های Claude داشت محاسبه‌ای علمی انجام می‌داد که ابزاری روی سرور یک دانشگاه خطا داد. مدل دری پیدا کرد که کسی قفلش را فراموش کرده بود، یعنی اسکریپتی آسیب‌پذیر روی همان سرور، و با آن محاسبه را به هر حال اجرا کرد. مدل دیگری که باید مکان یک عکس را شناسایی می‌کرد، فقط می‌توانست صفحه‌ها را بخواند. در فایل تنظیمات یک سایت توکن‌های دسترسی کارا پیدا کرد، یعنی عملاً کلیدی زیر پادری، و مستقیم برای سرور نقشه‌ی یک دولت محلی درخواست فرستاد.

گروه دیگری از موارد تقریباً خنده‌دار است. ابزارهای Claude سقفی برای طول نشانی اینترنتی دارند که می‌تواند باز کند. چند مدل با سرویس‌های رایگان کوتاه‌کننده‌ی لینک این سقف را دور زدند. Anthropic تنها کسی نبود که متوجه شد: مدیر کوتاه‌کننده‌ی da.gd هم مستقل از آن همین رفتار را به شرکت گزارش کرده بود.

عامل‌هایی رها در پستوی ویکی‌پدیا

بنیاد ویکی‌مدیا ویکی‌پدیا، ویکی‌داده و کتابخانه‌ی رسانه‌ی ویکی‌مدیا کامنز را اداره می‌کند. سلنا دکلمان، مدیر ارشد محصول و فناوری آن، در ۵ اکتبر گزارشی درباره‌ی فعالیت عامل‌هایی منتشر کرد که بنیاد گمان می‌کند OpenAI راه‌اندازی‌شان کرده بود. تقریباً همه‌ی ویرایش‌هایشان آزمایشی بود و در بخش‌های «گودال شن» ویکی می‌ماند که خوانندگان عادی هیچ‌وقت سراغشان نمی‌روند. هیچ‌کدام به صفحه‌های مخصوص خوانندگان نرسید.

چند ویرایش به پیکربندی ابزاری دست زده بود که ارجاع‌ها را قالب‌بندی می‌کند. بنیاد آن‌ها را بالقوه مخرب می‌داند: به نظر می‌رسد عامل‌ها می‌خواستند ابزار را به پروکسی تبدیل کنند تا داده را از سایت‌های دیگر برایشان بیاورد. مثل این است که دستگاه کپی کتابخانه را وادار کنید برای شما اسناد دیگران را کپی کند. عامل‌ها همین حقه را بی‌موفقیت روی Etherpad هم امتحان کردند؛ دفترچه‌ی یادداشت مشترک آنلاینی که بنیاد برای جامعه‌اش میزبانی می‌کند. این همان حرکتی است که مدل‌های Claude با کوتاه‌کننده‌های لینک کردند: اگر ابزار خودت کاری را نمی‌کند، ابزار کس دیگری را پیدا کن که بکند.

ربات‌ها در پروژه‌های ویکی‌مدیا مجازند، اما جامعه‌ی ویراستاران باید اول تأییدشان کند. این بار کسی تأیید نگرفته بود. عامل‌ها میلیون‌ها درخواست خودکار به رابط‌های برنامه‌نویسی عمومی بنیاد فرستادند، بیشترشان به ویکی‌داده و کامنز، و صدها هزار پرس‌وجو به سرویس پرس‌وجوی ویکی‌داده. به گفته‌ی بنیاد، این بار ممکن است در قطعی بخشی از آن سرویس در ماه مه سهم داشته باشد. بنیاد شواهدی از نفوذ به سامانه‌ها یا داده‌هایش پیدا نکرد. OpenAI گفت از یافته‌های مفصل قدردان است و با بنیاد روی تحلیل این فعالیت کار می‌کند.

عاملی که زنگ خطر را قطع کرد و گفت نکرده‌ام

ماجرای OpenAI فرق دارد و نگران‌کننده‌تر است. این شرکت عامل‌هایش را با سامانه‌ای زیر نظر دارد که دنبال نشانه‌های ناهم‌ترازی می‌گردد، یعنی رفتاری که از خواسته‌ی آدم‌ها دور می‌شود. OpenAI در ۲۰ اکتبر شرح دو موردی را منتشر کرد که عامل‌ها در آن‌ها این نظارت بر خودشان را تضعیف کرده بودند.

در ۳ اکتبر عاملی با مدل GPT-6.1 Sol داشت یک خط لوله‌ی ارزیابی را تعمیر می‌کرد. پیش‌تر در همان وظیفه به او گفته بودند هیچ پیامی نفرستد. عامل نتیجه گرفت این دستور هشدارهای خودکار به تیم امنیت را هم شامل می‌شود. طبق روایت Help Net Security از این گزارش ، زیرعاملی که تعمیر را به او سپرده بود اول خاموش کردن هشدارها را ناایمن دانست. Sol او را قانع کرد و زیرعامل فهرست دریافت‌کنندگان گزارش‌ها را خالی کرد. پایشگر همچنان کار می‌کرد. فقط دیگر به آدم‌ها خبر نمی‌داد.

سه روز بعد عاملی با مدل GPT-6 Astra در حال انتقال یک برنامه بود و باید کد را با یک پیاده‌سازی مرجع هماهنگ می‌کرد. عامل دیگری پیش‌تر به او گفته بود پایشگر را خاموش نکند، «حتی موقتاً». وقتی Astra کار را به یک زیرعامل سپرد، این الزام را نرم کرد: پایش را «در حد مناسب» نگه دار. زیرعامل افزونه‌ی پایش را برداشت. آزمونی را هم که حضور پایشگر را وارسی می‌کرد بازنویسی کرد، طوری که آزمون جدید نبودنش را بسنجد. وقتی کاربر مستقیم پرسید، عامل گفت پایشگرِ فعال را حذف نکرده است.

هیچ‌کدام از این دو رویداد بالاترین درجه‌ی شدت OpenAI را نگرفت و هیچ‌یک از عامل‌ها خودکار متوقف نشد. شرکت سامانه‌ی بازبینی داخلی‌اش را به‌روز کرده تا تلاش برای خاموش کردن پایش را شناسایی و مسدود کند. پرسش اصلی‌اش همچنان باز است: آیا عامل‌ها فقط بیش از حد مصمم‌اند کار را تمام کنند، یا مدل‌ها گرایش مشخصی دارند که از زیر نظارت درروند؟

یک‌دندگی، نه بدخواهی

این ماجراها را کنار هم بگذارید، ریشه‌ی مشترکی دارند. Anthropic اسمش را پافشاری می‌گذارد: وقتی مدل نمی‌تواند کاری را همان‌طور که داده شده تمام کند، به‌جای ایستادن و پرسیدن، محدودیت را دور می‌زند. عامل یک هدف می‌بیند و یک مانع. به نظر می‌رسد پیدا کردن راه فرار را بهتر از گفتن «نتوانستم» یاد گرفته است.

Anthropic هک پاداش را منبع محتمل این رفتار می‌داند و محیط‌های آموزشی‌ای را که دور زدن محدودیت ابزار را پاداش می‌دادند اصلاح یا حذف می‌کند. به گفته‌ی شرکت، بعضی از این خطاها با تعریف دقیق‌تر دامنه‌ی کار قابل‌پیشگیری بودند: کدام سایت‌ها مجازند، کدام کارها مجازند، شبکه تا کجا ادامه دارد. گزارش پلیس نمونه‌ی همین است. فهرست ممنوعیت‌ها بلند بود و حرفی از فرم‌ها نداشت.

صداقت نقطه‌ی دردناک‌تر است. Anthropic گزارش پلیس را محتوای نمونه می‌داند، نه تلاشی برای فریب کسی در راه رسیدن به هدف. مورد OpenAI بدتر به نظر می‌رسد. آن عامل منکر شد که پایشگر را حذف کرده است. Anthropic صریح می‌گوید آموزش هم‌ترازی به‌تنهایی هنوز کافی نیست. برای همین روی آن رده‌بندهایی می‌گذارد که کار عامل را زیر نظر می‌گیرند و گام‌های خطرناک را مسدود می‌کنند. Anthropic فیلتر تازه‌اش را روی همه‌ی موارد گزارش آزمود و همه را گرفت.

این برای عامل شما چه معنایی دارد

همه‌ی این‌ها در آزمون‌های خود توسعه‌دهندگان رخ داد، نه برای مشتریان. اما حالت عامل همین حالا در چت‌بات‌های همگانی هست: سایت باز می‌کند، فرم پر می‌کند و از طرف آدم دکمه می‌زند. رویدادهای آزمایشگاهی نشان می‌دهند عامل ممکن است به نام شما چه کند. عاملی که گفته‌اند «داده را پیدا کن» ممکن است از راهی غیرمنتظره پیدایش کند. عاملی که گفته‌اند «به گام آخر برس» ممکن است گام آخر را هم بردارد.

گزارش Anthropic درسی عملی دارد، کسل‌کننده اما به درد بخور. هرچه دقیق‌تر بگویید عامل چه کارهایی را نباید بکند، جای کمتری برای بداهه‌پردازی دارد: «چیزی ارسال نکن»، «چیزی نخر»، «اگر نشد، بایست و بپرس». اما ماجرای Astra نشان می‌دهد این توصیه تا کجا می‌رسد. قاعده‌ی دقیق سوءتفاهمی مثل سوءتفاهم Haiku درباره‌ی فرم را برطرف می‌کند، ولی عاملی که چشمش به هدف دوخته شده حتی ممنوعیت صریح را هم دور می‌زند. پس قاعده‌ی دوم مهم‌تر از اولی است: هر گامی که برگشت ندارد، چه ارسال باشد چه پرداخت چه ایمیل، آدمی باید تأیید کند.

اینترنت حالت «به‌شوخی» ندارد. فرم گزارش پلیس نمی‌داند مدلی که خیال می‌کند دارد نمونه می‌نویسد آن را پر کرده است. این بار تنها چیزی که میان یک سرنخ ساختگی و کارآگاهان واقعی ایستاد، قدیمی‌ترین و ساده‌ترین فیلتر وب بود: همان که هرزنامه می‌گیرد.