ده دقیقه با چت‌بات، و آدم‌ها زودتر از مسئله‌های سخت دست می‌کشند

مسئله‌ها در حد کلاس پنجم بودند: جمع، تفریق، ضرب و تقسیم کسرهای معمولی. شرکت‌کنندگان از خانه، از راه Prolific، پلتفرمی که مردم با شرکت در پژوهش‌ها پول توجیبی درمی‌آورند، مسئله‌ها را حل می‌کردند و برای کل کار ۲٫۶۰ دلار می‌گرفتند. نیمی از آن‌ها در سمت راست صفحه پنجره چت با یک دستیار هوش مصنوعی داشتند. نیم دیگر هیچ. بعد از مسئله دوازدهم چت ناپدید شد و هر دو گروه تنهایی با سه مسئله دیگر روبه‌رو شدند.

در همین سه مسئله، گروهی که دستیار داشت ۵۷ درصد را حل کرد و گروه بدون دستیار ۷۳ درصد را. کسانی که دستیارشان را از دست داده بودند، مسئله‌ها را تقریباً دو برابر بیشتر رها کردند: ۲۰ درصد در برابر ۱۱ درصد. حدود ده دقیقه کار با هوش مصنوعی برای ایجاد این اثر کافی بود. آزمایش بعدی جزئیات جالبی نشان داد: کسانی که از چت‌بات جواب حاضر خواسته بودند بدترین نتیجه را گرفتند. در میان کسانی که راهنمایی خواسته بودند، افت محسوسی دیده نشد.

آزمایش را گریس لیو از دانشگاه کارنگی ملون، برایان کریستین از مرکز هوش مصنوعی سازگار با انسان (CHAI) در دانشگاه برکلی، شناخته‌شده با کتاب‌هایش درباره الگوریتم‌ها و هوش مصنوعی، و سه دانشمند دیگر از آکسفورد، MIT و UCLA انجام دادند. پیش‌انتشار در آوریل منتشر شد، نسخه بازنگری‌شده در اکتبر ۲۰۲۶ در COLM، کنفرانس مدل‌سازی زبان در سان‌فرانسیسکو، ارائه شد و در ۹ اکتبر اخبار برکلی درباره‌اش نوشت .

دوازده مسئله با کمک، سه مسئله بدون آن

روانشناسان پشتکار را ساده می‌سنجند: یک نفر چقدر روی مسئله‌ای سخت کار می‌کند تا کنار بگذارد. اینجا این کار با ردکردن‌ها شمرده شد. هر مسئله را می‌شد رد کرد و هر ردکردن یعنی آن آدم تصمیم گرفته با آن کلنجار نرود. هر دو گروه بعد از اشتباه راه‌حل درست را می‌دیدند، پس همه یاد می‌گرفتند. فقط یک گروه تنها یاد می‌گرفت و گروه دیگر همراهی داشت که هر لحظه می‌توانست کل کار را به جایش انجام دهد.

در مجموع ۱٬۲۲۲ نفر از آمریکا در سه آزمایش شرکت کردند و هر آزمایش شکافی را در آزمایش قبل می‌بست. شاید آدم‌ها فقط از ناپدیدشدن چت گیج شده بودند: لحظه‌ای پیش پنجره‌ای بود و حالا نیست. در آزمایش دوم گروه بدون هوش مصنوعی هم پنل کناری گرفت که راه‌حل مسئله‌هایی را نشان می‌داد که شرکت‌کنندگان قبلاً دیده بودند. شکاف کوچک‌تر شد ولی ماند، و این بار تفاوت در ردکردن‌ها از نظر آماری معنادار نبود، و نویسندگان صادقانه همین را می‌گویند.

آزمایش سوم بررسی کرد که آیا این به حساب مربوط است. شرکت‌کنندگان به پرسش‌های درک مطلب به سبک آزمون آمریکایی SAT جواب دادند. الگو تکرار شد و کاربران سابق هوش مصنوعی به‌طور محسوسی بیشتر پرسش‌ها را رد کردند: ۸ درصد در برابر ۱ درصد.

جواب خواستن یا راهنمایی خواستن

در آزمایش دوم از شرکت‌کنندگان پرسیدند چگونه از چت استفاده کرده‌اند و نتایج بر اساس پاسخ‌هایشان مقایسه شد. بعد از خاموش‌شدن چت، کسانی که جواب حاضر خواسته بودند ۶۵ درصد مسئله‌ها را حل کردند، در برابر ۷۷ درصد در گروه کنترل.

نویسندگان اینجا نکته مهمی را اضافه می‌کنند. آدم‌ها خودشان انتخاب کردند چطور از چت استفاده کنند؛ تصادفی تعیین نشده بود. شاید کسانی که جواب حاضر می‌خواهند همان‌هایی باشند که بدون هیچ هوش مصنوعی هم زودتر دست می‌کشند. پس تفکیک بر اساس سبک، همبستگی را نشان می‌دهد، نه علت اثبات‌شده را. نتیجه اصلی همچنان علّی است: آدم‌هایی که تصادفی به گروه هوش مصنوعی رفتند، بعد از گرفته‌شدن آن بدتر عمل کردند.

داستان کسرها نیست

کریستین به اخبار برکلی گفت: «یافته‌ای تکان‌دهنده است، ولی به یک معنا خوراکی است برای روایتی که بسیاری از ما در دل حس می‌کنیم. خودم هم تجربه‌اش می‌کنم.» به نظر او این داستان کسرها و مسئله‌های SAT نیست: همین الگو برای همه صدق می‌کند، از دانش‌آموز دبستانی تا برجسته‌ترین متخصصان جهان.

نویسندگان سازوکار را این‌طور توصیف می‌کنند: کار با هوش مصنوعی آدم را به انتظار جواب فوری عادت می‌دهد و تمرین عبور از بخش سخت با نیروی خودش را از او می‌گیرد. ساده بگوییم، شبیه آسانسور است. تا وقتی کار می‌کند کسی به پله‌ها احتیاج ندارد. وقتی خراب می‌شود، طبقه پنجم یک‌دفعه از هفته پیش بلندتر به نظر می‌آید.

چیزهای مشابهی در آزمایش‌های دیگر هم دیده شده. در ۲۰۲۵ مجله PNAS پژوهشی را منتشر کرد از یک مدرسه در ترکیه که نزدیک هزار دانش‌آموز دبیرستانی با دو نسخه GPT-4 ریاضی کار می‌کردند. هر دو در تمرین کمک کردند. اما در امتحان، که دیگر هوش مصنوعی در دسترس نبود، کاربران چت‌بات معمولی ۱۷ درصد کمتر از همکلاسی‌هایی نمره گرفتند که بدون آن درس خوانده بودند. برای کسانی که با نسخه معلم کار کرده بودند، که به‌جای جواب راهنمایی می‌داد، این ضرر تقریباً از بین رفت.

در ژانویه ۲۰۲۶ شرکت Anthropic همین ایده را روی برنامه‌نویسان آزمود . ۵۲ توسعه‌دهنده، بیشترشان تازه‌کار، یک کتابخانه ناآشنای پایتون را یاد گرفتند. کسانی که با دستیار هوش مصنوعی یاد گرفته بودند، بعداً در آزمونی بدون آن ۵۰ درصد گرفتند، در برابر ۶۷ درصد بقیه. شکاف در پرسش‌های اشکال‌زدایی از همه بیشتر بود. و باز هم کسانی بهتر عمل کردند که از ماشین سؤال می‌پرسیدند تا کد را بفهمند، نه اینکه کل کار را به آن بسپارند.

آنچه ده دقیقه ثابت نمی‌کند

عنوان‌هایی مثل «هوش مصنوعی ما را کودن می‌کند» چیزی نیست که این آزمایش نشان می‌دهد. فقط یک چیز را سنجید: در دقایق اول بعد از رفتن کمک چه می‌شود. اینکه اثر یک روز، یک ماه یا یک سال زندگی با چت‌بات دوام دارد یا نه را پژوهش بررسی نکرد و نویسندگان این را محدودیت می‌نامند.

انگیزه شرکت‌کنندگان هم کم بود. برای ۲٫۶۰ دلار و سیزده دقیقه وقت، کمتر کسی سر هر کسر می‌جنگد، و در امتحان یا سر کار انگیزه خیلی فرق می‌کند. اثر محسوس است ولی بزرگ نیست: در آزمایش دوم تفاوت مسئله‌های حل‌شده به شش درصد رسید. و امیدوارکننده‌ترین یافته، همان درباره راهنمایی، روی زیرگروهی کوچک بنا شده. این ۲۷ درصد گروه هوش مصنوعی در آزمایش دوم است، حدود ۸۰ نفر، و نتیجه هنوز باید تأیید شود.

با این حال تصویر در سه پژوهش مستقل با آدم‌های بسیار متفاوت تکرار می‌شود: دانش‌آموزان ترکیه، برنامه‌نویسان، بزرگسالان تصادفی در آمریکا. همه‌جا کسانی که بخش سخت کار را کاملاً به ماشین سپردند بدتر از همه عمل کردند.

معلمی که نمی‌گذارد کپی کنی

راه‌حلی که کریستین پیشنهاد می‌کند فروتنانه به نظر می‌رسد. پاسخ‌های هوش مصنوعی می‌توانند به‌طور پیش‌فرض بیشتر شبیه معلم خصوصی باشند: به‌جای تحویل نتیجه نهایی، تو را به سمت ایده ببرند. او هدف را گسترده‌تر از هر تنظیمی بیان می‌کند: «باید به سمت آینده‌ای برویم که در آن توانایی‌های انسان تا حد ممکن تقویت شود، نه جایگزین.»

چنین حالت‌هایی همین حالا وجود دارند. در ۲۹ ژوئیه ۲۰۲۵ OpenAI حالت مطالعه را در ChatGPT راه انداخت : سؤال‌های هدایت‌گر می‌پرسد و تو را قدم‌به‌قدم تا راه‌حل می‌برد. Claude هم حالت یادگیری مشابهی دارد. اما باید آن را دستی روشن کرد و در ChatGPT می‌شود وسط گفتگو خاموشش کرد. حالت عادی هنوز فوری و کامل جواب می‌دهد.

پس انتخاب بین «جواب بده» و «راهنمایی کن» با خود آدم است، آن هم در بدترین لحظه، وقتی مسئله فوری است. در این داستان راهنمایی مثل نرده عمل می‌کند، نه آسانسور: هنوز با پای خودت بالا می‌روی، برای همین بعد از رفتن کمک، پله‌ها تندتر به نظر نمی‌آیند.