شبکه‌ای عصبی از ۲۰۱۵ در تشخیص سرطان پوست از GPT-6 و Claude جلو زد

این ملانوم روی گوش یک بیمار است. نازک است، اما همین حالا شروع کرده به رشد به سمت عمق پوست. متخصص پوست، مگنوس لینچ، دو عکس از آن را به دو تا از توانمندترین مدل‌های هوش مصنوعی اکتبر ۲۰۲۶ نشان داد: GPT-6 Astra و Claude Fable 5.1. هر دو یک پاسخ دادند: کراتوز سبورئیک، یک برجستگی بی‌خطر و زگیل‌مانند، بیمار را می‌شود مرخص کرد. بعد همان عکس‌ها را به شبکه‌ای عصبی دادند که مهندسان گوگل در سال ۲۰۱۵ توصیف کرده بودند. آن شبکه نوشت: ملانوم.

این مورد اتفاقی نیست. در آزمایشی که ۲۵ اکتبر ۲۰۲۶ منتشر شد ، شبکهٔ قدیمی Inception v3 برای ۱۲۵ آفت از ۲۰۰ آفت، یعنی ۶۲ درصد، تشخیص درست را داد. هر دو مدل پیشتاز فقط به ۴۲ درصد رسیدند. به گفتهٔ نویسنده، تنظیم دقیق شبکهٔ قدیمی روی تصاویر پوست حدود بیست دقیقه طول کشید. بخش جالب‌تر آزمایش آن‌سوی عدد دقت است: هر ماشین به شیوهٔ خودش خطا می‌کند و همین تعیین می‌کند چه کسی با سرطانش به خانه فرستاده شود. این دیگر پرسشی صرفاً دانشگاهی نیست. در نظرسنجی KFF که از ۲۴ فوریه تا ۲ مارس ۲۰۲۶ انجام شد، ۳۲ درصد از بزرگسالان آمریکایی گفتند در سال گذشته دربارهٔ سلامتشان از چت‌بات‌های هوش مصنوعی پرسیده‌اند، و عکس یک خال در چنین گفت‌وگویی دیگر کسی را شگفت‌زده نمی‌کند.

دویست خال که کسی قبلاً برداشته بود

لینچ متخصص پوست و جراح موس در بیمارستان گای لندن و استاد افتخاری کالج کینگ لندن است. حوزهٔ پژوهشی‌اش سرطان پوست و کاربرد هوش مصنوعی در پوست‌شناسی است، برای همین آزمایش را همان‌طور ساخت که یک پزشک می‌سازد. تصاویر را از MILK10k برداشت، مجموعه‌داده‌ای عمومی که در ۲۰۲۵ از طریق همکاری بین‌المللی تصویربرداری پوست (ISIC) منتشر شد. هر آفت در آن دو بار عکس گرفته شده است: یک بار نمای نزدیک معمولی و یک بار با درماتوسکوپ.

لینچ ۲۰۰ آفت را تصادفی انتخاب کرد. تشخیص هر کدام با بافت‌شناسی تأیید شده بود، یعنی بافت برداشته‌شده زیر میکروسکوپ بررسی شده بود. صد آفت از این‌ها نباید بدون پیگیری رها شوند: ۳۰ ملانوم، ۲۵ کارسینومای سلول بازال، ۲۵ کارسینومای سلول سنگفرشی و ۲۰ کراتوز اکتینیک، یعنی لکه‌های زبر ناشی از آفتاب‌سوختگی که می‌توانند به سرطان تبدیل شوند. صد آفت دیگر بی‌خطرند: ۵۰ خال معمولی و ۵۰ کراتوز سبورئیک.

کارسینوماهای سلول بازال و سنگفرشی شایع‌ترین سرطان‌های پوست‌اند و به گفتهٔ Cancer Research UK به‌ندرت به بخش‌های دیگر بدن سرایت می‌کنند. در این آزمایش خط اصلی ملانوم است. از دست دادنش بدترین خطاست، برای همین اشتباه گرفتن ملانوم با کارسینومای سلول بازال خطای کوچک‌تری است: بیمار همچنان در دست پزشک می‌ماند.

یک نکته هست که خود نویسنده هم به آن اشاره می‌کند. آفت‌های بی‌خطر این مجموعه هم برداشته شده و به آزمایشگاه رفته‌اند. اگر کسی تصمیم گرفته خالی را بردارد، چیزی در آن پزشک را نگران کرده بوده. پس آزمایش پر است از فریبنده‌ترین خال‌ها، همان‌هایی که متخصصان را هم به تردید می‌اندازند.

هر دو عکس به مدل‌ها داده شد و همان پرسش‌هایی که پزشک می‌پرسد مطرح شد: کدام یک از شش تشخیص محتمل‌تر است، اطمینان چقدر است، گزینهٔ دوم چیست، و آیا بیمار را می‌شود بدون درمان، بیوپسی یا پیگیری مرخص کرد. هیچ‌کدام از مدل‌ها حتی یک مورد را رد نکرد.

شبکه‌ای که پزشک هوش مصنوعی را راه انداخت

Inception v3 برای پزشکی ساخته نشده بود. مهندسان گوگل آن را در مقاله‌ای در دسامبر ۲۰۱۵ به‌عنوان شبکه‌ای برای تشخیص اشیای روزمره در عکس‌ها معرفی کردند. این یک شبکهٔ عصبی کانولوشنی است: تصویر را با پنجره‌های کوچک پویش می‌کند و جزئیات ریز مثل لبه‌ها و لکه‌ها را به الگوهای هرچه بزرگ‌تر تبدیل می‌کند.

در ژانویهٔ ۲۰۱۷ تیمی از استنفورد سراغ آن رفت. آن را روی ۱۲۹٬۴۵۰ تصویر پوست شامل ۲٬۰۳۲ بیماری تنظیم دقیق کردند و در Nature گزارش دادند که روی تصاویر تأییدشده با بیوپسی، سرطان را از آفت‌های بی‌خطر به خوبی ۲۱ متخصص پوست دارای گواهی تخصصی تشخیص می‌دهد. نویسندگان پیشنهاد کردند چنین شبکه‌ای روی گوشی هوشمند می‌تواند دسترسی متخصص پوست را به بیرون از درمانگاه ببرد.

لینچ همان معماری را برداشت و آن را روی ۶۸٬۰۱۱ تصویر از آرشیو ISIC با یک کارت گرافیک تنظیم دقیق کرد. هر ۲۰۰ آفت آزمایش و هر عکس دیگری از همان آفت‌ها یا همان بیماران را از قبل از داده‌های آموزش حذف کرد، پس شبکه هیچ‌کدام را ندیده بود. جدیدترین مدل‌های زبانی کد می‌نویسند، قرارداد بازبینی می‌کنند و دربارهٔ هر چیزی گپ می‌زنند. در تشخیص خال، از متخصصی تک‌منظوره از یک دهه پیش شکست خوردند.

هر مدل بزرگ یک پاسخ محبوب دارد

فاصله روی آفت‌های بی‌خطر از همه‌جا بیشتر است. GPT-6 Astra فقط ۱۶ خال از ۵۰ را شناخت و Claude Fable 5.1 فقط ۶ کراتوز سبورئیک از ۵۰ را، در حالی که شبکه ۳۷ و ۲۶ مورد را درست گفت. چت‌بات‌ها دقیقاً در شناختن چیزهایی که می‌شود رهایشان کرد از همه ضعیف‌ترند. هیچ‌کدام از عددهای ملانوم چشمگیر نیست، که تصویر صادقانه‌ای از یک مجموعهٔ دشوار است.

بدتر اینکه هر مدل زبانی یک پاسخ محبوب داشت. GPT-6 Astra در حالی که مجموعه ۲۵ کارسینومای سلول بازال داشت، ۷۵ آفت را با این برچسب زد و ۱۴ ملانوم از ۳۰ تا هم در همین دسته افتاد. آن بیمار هنوز در دست پزشک می‌ماند: ملانوم با سرطانی دیگر اشتباه گرفته شده بود. با این حال هر ۲۵ کارسینومای بازال واقعی را درست گفت، یکی بیشتر از ۲۴ موردِ شبکه. این نمرهٔ کامل اثر جانبی همان عادت است: هر آفت سوم را کارسینومای بازال بنامی، هیچ مورد واقعی از دستت نمی‌رود. Claude Fable 5.1 در ۵۳ مورد کراتوز اکتینیک دید، در حالی که تعداد واقعی ۲۰ بود. روی همین کراتوزها شبکهٔ قدیمی از هر دو مدل عقب ماند، با ۹ مورد از ۲۰ در برابر ۱۰ و ۱۲. در نمونه‌ای دیگر، GPT-6 Astra ملانومی با رنگدانهٔ بسیار اندک را کارسینومای سلول بازال پنداشت و اطمینانش را ۹۵ درصد اعلام کرد.

خطاهای ملانومی شبکه جهت دیگری داشت. از ۱۷ اشتباهش، ۸ بار ملانوم را خال و ۶ بار کراتوز سبورئیک نامید، یعنی هر دو چیزی که می‌شود رهایش کرد. با چنین تشخیصی فرستادن آدم به خانه کار ساده‌ای است.

همه‌چیز به آستانه برمی‌گردد

آنچه پزشک اغلب لازم دارد پاسخ پرسشی ساده‌تر از «این چیست» است: آدم را به خانه بفرستد یا نه. شبکه به آن با عددی از ۰ تا ۱ جواب می‌دهد که نشان می‌دهد آفت چقدر خطرناک به نظر می‌رسد. آستانه علامتی روی این مقیاس است که بالاتر از آن شبکه می‌گوید «حتماً معاینه شود». علامت را پایین بیاوری، هشدارها بیشتر می‌شود. بالا ببری، شبکه آدم‌های بیشتری را به خانه می‌فرستد.

مدل‌های زبانی ۹۷ و ۹۶ مورد از ۱۰۰ آفت خطرناک را زیر نظر نگه داشتند. از ۳۰ ملانوم، ۳ و ۴ مورد را مرخص کردند. اما آفت‌های بی‌خطر کمی را هم رها کردند: ۳۲ و ۲۲ مورد از ۱۰۰. بقیهٔ صاحبان خال خوش‌خیم برای یک نوبت یا بیوپسی بی‌مورد فرستاده می‌شدند.

آستانهٔ شبکهٔ قدیمی از پیش روی تصاویر دیگر تعیین شده بود و با این ۲۰۰ مورد تنظیم نشده بود. با آن، شبکه رفتار دیگری نشان داد. ۷۶ آفت بی‌خطر از ۱۰۰ را مرخص کرد و فقط ۷۷ آفت خطرناک را نگه داشت. در میان رهاشدگان ۱۸ ملانوم از ۳۰ بود. شبکه تصمیم مرخص‌کردن را با مقیاس سوءظن خودش می‌گیرد، هر تشخیصی که نام ببرد. برای همین ۱۸ ملانوم را رها کرد، با اینکه در ۱۷ مورد تشخیص ملانوم را غلط گفته بود.

آستانه را با احتیاط چت‌بات‌ها هم‌سطح کنید تا تصویر عوض شود. شبکه ۹۸ یا ۹۹ آفت خطرناک از ۱۰۰ را نگه می‌دارد، در برابر ۹۷ و ۹۶ برای مدل‌های زبانی، و یک یا دو ملانوم را مرخص می‌کند در برابر سه و چهار. در سطح احتیاط یکسان، شبکهٔ قدیمی از هر دو مدل در هر دو معیار بهتر است. آن ۱۸ ملانومِ از دست رفته بیشتر دربارهٔ علامت انتخاب‌شده چیز می‌گوید. سازندگان آن را تعیین می‌کنند و کاربر در آن نقشی ندارد.

پرسش «باید پیش دکتر بروم؟»

آدم عادی با پزشک فرق دارد در پرسیدن. در همان نظرسنجی KFF، ۱۳ درصد از بزرگسالان آمریکایی گفتند اطلاعات پزشکی خودشان، مثل نتیجهٔ آزمایش یا یادداشت پزشک، را در چت‌بات‌ها بارگذاری کرده‌اند.

لینچ این سناریو را هم آزمود. فقط عکس معمولی را، بدون تصویر درماتوسکوپ، به مدل‌ها نشان داد و پرسش یک بیمار را پرسید: «باید پیش دکتر بروم؟» هر دو مدل تقریباً همیشه توصیه کردند به پزشک مراجعه شود، حتی برای آفت‌های بی‌خطر. روی مجموعه‌ای جدا از ۱۰۰ ملانوم تأییدشده با بیوپسی، در ۹۹ و ۹۸ مورد آدم را پیش پزشک فرستادند.

برای کسی که از خالی عکس می‌گیرد و در ChatGPT یا Claude بارگذاری می‌کند، دو نتیجه به دست می‌آید. چت‌بات احتمالاً ملانومی را از دست نمی‌دهد. خال خوش‌خیم را هم تأیید نمی‌کند، پس «حتماً معاینه شود»اش تقریباً هیچ نمی‌گوید. مثل دتکتور دودی رفتار می‌کند که با هر تکهٔ نان سوخته زنگ می‌زند: از آتش‌سوزی خواب نمی‌ماند، اما فرق آتش و صبحانه را نمی‌داند.

این آزمایش چه چیزی را ثابت نمی‌کند

لینچ خودش نقاط ضعف را برمی‌شمارد. دویست آفت برای نشان دادن الگوی کلی کافی است اما برای رتبه‌بندی نتایج نزدیک نه. سی ملانوم نااطمینانیِ زیادی بر عددی که از همه مهم‌تر است باقی می‌گذارد. هر مدل زبانی هر مورد را فقط یک بار دید و پاسخ‌هایشان از اجرایی به اجرای دیگر فرق می‌کند. MILK10k از ۲۰۲۵ عمومی است، پس شاید مدل‌ها آن را در آموزش دیده باشند. به نظر نویسنده، اگر چنین بوده، به سود آن‌ها بوده است.

Inception v3 در این آزمایش نقش مبنای مقایسه را دارد. بهترین سامانه‌های امروزی تشخیص پوست چند شبکهٔ نسل جدیدتر را ترکیب می‌کنند و روی داده‌های بیشتری آموزش می‌بینند. به گفتهٔ لینچ، محصولات مجازِ ساخته‌شده بر پایهٔ آن‌ها به‌مراتب بهتر عمل می‌کنند. این مجموعه برای شبکهٔ قدیمی هم دشوار بود: روی تصاویر معمولی آرشیو ISIC، آفت‌های خطرناک را از ایمن دقیق‌تر جدا می‌کرد. نمرهٔ کلی‌اش آنجا ۰٫۹۶ است در برابر ۰٫۸۶ در اینجا، که ۱ یعنی بدون خطا و ۰٫۵ یعنی حدس تصادفی.

این آزمایش داوری همتا نشده است: نوشته‌ای در وب‌سایت آزمایشگاه است. در عوض لینچ هر آنچه برای وارسی لازم است منتشر کرده: موردها، پرسش‌ها، هر پاسخ مدل‌ها و کد نمره‌دهی. او اعلام می‌کند که تحلیل و پیش‌نویس‌های اول با Claude Code، ابزار برنامه‌نویسی Anthropic، تهیه شده و یکی از مدل‌های آزمون‌شده هم از Anthropic است. شبکه به‌صورت دموی پژوهشی آنلاین است و وسیلهٔ پزشکی نیست. خود لینچ هشدار می‌دهد که برخی سرطان‌های پوست، از جمله ملانوم، را از دست می‌دهد و نباید برای تصمیم به مراجعه به پزشک به کار رود.

اگر از دیدگاه پزشک و با هر دو عکس پرسیده می‌شد، هر دو مدل پیشتاز بیمارِ دارای ملانوم روی گوش را به خانه می‌فرستادند. در نقش مشاور بیمار، او را مثل بقیه پیش پزشک می‌فرستادند. شبکهٔ قدیمی این ملانوم را دید، اما اینکه ساکت بماند یا زنگ خطر بزند به علامتی روی مقیاسش بستگی دارد. پس پرسشی مهم‌تر از اینکه کدام هوش مصنوعی باهوش‌تر است این است: چه کسی علامتی را که زیر آن ماشین سکوت می‌کند تعیین می‌کند، و کجا؟