2015 жылғы нейрондық желі тері рагын танудан GPT-6 мен Claude-тан озды

Меланома науқастың құлағында орналасқан. Ол жұқа, бірақ теріге тереңдеп өсе бастаған. Дерматолог Магнус Линч оның екі фотосын 2026 жылғы қазандағы ең мықты екі ЖИ моделіне — GPT-6 Astra мен Claude Fable 5.1-ге көрсетті. Екеуі де бірдей жауап берді: себореялық кератоз, яғни зиянсыз сүгелді өсінді, үйге жіберуге болады. Содан кейін сол фотолар Google инженерлері 2015 жылы сипаттаған нейрондық желіге түсті. Ол түзілімді меланома деп атады.

Бұл кездейсоқтық емес. 2026 жылғы 25 қазанда жарияланған тестте ескі Inception v3 желісі 200 түзілімнің 125-іне, яғни 62%-ына дұрыс диагноз қойды. Екі жетекші модель де 42%-дан аспады. Автордың айтуынша, ескі желіні тері суреттерінде қосымша оқытуға шамамен жиырма минут кетті. Тесттің ең қызықты тұсы дәлдік көрсеткішінен кейін басталады: әр машина өзінше қателеседі, ал кімнің рагпен үйіне қайтарылатынын дәл осы шешеді. Бұл енді академиялық сұрақ емес. 2026 жылғы 24 ақпаннан 2 наурызға дейін өткен KFF сауалнамасында америкалық ересектердің 32%-ы соңғы жыл ішінде денсаулығы туралы ЖИ чат-боттардан сұраған деп жауап берді, ал мұндай чатқа мең суретін жүктеу бүгін ешкімді таңғалдырмайды.

Біреу қазір-ақ кесіп алған екі жүз мең

Линч — Лондондағы Guy’s ауруханасының дерматолог-кеңесшісі және Мос хирургі, King’s College London-ның құрметті оқытушысы. Оның зерттеулері тері рагы мен дерматологиядағы ЖИ-ге арналған, сондықтан тестті клиницист ретінде құрастырды. Суреттерді ол 2025 жылы Халықаралық тері бейнелеу бірлестігі (ISIC) арқылы шыққан ашық дерекқор MILK10k-тен алды. Ондағы әр түзілім екі рет түсірілген: бір рет қарапайым жақын план, бір рет дерматоскоп арқылы.

Линч кездейсоқ түрде 200 түзілім таңдады. Әр диагноз гистологиямен расталған, яғни алынған ұлпа микроскоптың астында қаралған. Түзілімдердің жүзі үйге жіберуге болмайтындар: 30 меланома, 25 базалиома (базальды жасушалы карцинома), 25 жалпақ жасушалы карцинома және 20 актиникалық кератоз — күн зақымдаған, ракқа айналуы мүмкін кедір-бұдыр дақтар. Қалған жүзі қауіпсіз: 50 қарапайым мең және 50 себореялық кератоз.

Базальды және жалпақ жасушалы карциномалар — тері рагының ең жиі түрлері, және Cancer Research UK атап өткендей, олар денедегі басқа жерлерге сирек таралады. Бұл тестте ең маңыздысы — меланома. Оны жіберіп алу ең ауыр қате, сондықтан меланоманы базалиомамен шатастыру — кіші зұлымдық: науқас бәрібір дәрігердің назарында қалады.

Мұнда бір қиындық бар, және автор оны өзі айтады. Жиындағы зиянсыз түзілімдер де кесіліп алынып, зертханаға жіберілген. Егер біреу меңді алып тастауға шешім қабылдаса, оның бір жері клиницистті алаңдатқан. Яғни тест ең қулық мең түрлеріне, мамандарды да ойландыратындарына толы.

Модельдерге екі фото берілді және дәрігер қоятын сұрақтар қойылды: алты диагноздың қайсысы ықтимал, сенімділік қандай, екінші таңдау қандай, және науқасты емсіз, биопсиясыз, бақылаусыз үйге жіберуге бола ма. Екі модель де бірде-бір жағдайдан бас тартпады.

ЖИ-дерматологты бастап берген желі

Inception v3 медицина үшін жасалмаған. Google инженерлері оны 2015 жылғы желтоқсандағы мақалада фотолардағы күнделікті заттарды тануға арналған желі ретінде таныстырды. Бұл — конволюциялық нейрондық желі: ол суретті кішкентай терезелер арқылы қарап шығып, жиектер мен дақтар сияқты ұсақ бөлшектерді барған сайын ірі өрнектерге жинайды.

2017 жылғы қаңтарда Стэнфорд командасы оны қолға алды. Олар желіні 2032 ауруды қамтитын 129 450 тері суретінде қосымша оқытып, Nature журналында хабарлағандай , биопсиямен расталған суреттерде ол ракты зиянсыз түзілімдерден 21 сертификатталған дерматолог сияқты ажыратты. Авторлар смартфондағы мұндай желі дерматологтың қолын клиникадан тыс жерге жеткізе алады деп болжады.

Линч сол архитектураны алып, оны бір графикалық картада ISIC Archive-тің 68 011 суретінде қосымша оқытты. Алдын ала ол 200 сынақ түзілімінің барлығын, сондай-ақ сол түзілімдер мен науқастардың басқа да фотоларын оқыту деректерінен алып тастады, сондықтан желі оларды ешқашан көрмеген. Ең жаңа тілдік модельдер код жазады, шарттарды тексереді, кез келген тақырыпта әңгімелеседі. Ал мең тану жөнінде олар он жыл бұрынғы тар маманнан ұтылды.

Әр ірі модельдің сүйікті жауабы бар

Айырма ең үлкені зиянсыз түзілімдерде. GPT-6 Astra 50 меңнің тек 16-сын таныды, Claude Fable 5.1 50 себореялық кератоздың тек 6-сын таныды, ал желі 37 мен 26 тапты. Чат-боттар дәл қалдыруға болатын нәрсені ең нашар таниды. Меланома көрсеткіштерінің ешқайсысы әсерлі емес, бұл күрделі жиынның шынайы көрінісі.

Одан да жаманы, әр тілдік модельдің сүйікті жауабы болды. GPT-6 Astra жиында 25 болған кезде 75 түзілімді базалиома деп атады, ал 30 меланоманың 14-і сол үйіндіге түсті. Ондай науқас бәрібір дәрігердің қарауында қалар еді: меланома басқа рак деп шатастырылды. Ол 25 нақты базалиоманың бәрін дұрыс тапты, бұл желінің 24-інен бір артық. Бұл мінсіз нәтиже әдеттің жанама әсері: әр үшінші түзілімді базалиома десең, ешбір нақтысы өтіп кетпейді. Claude Fable 5.1 нақты 20-ға қарсы 53 жағдайда актиникалық кератоз көрді. Осы кератоздарда ескі желі екі модельге де ұтылды: 20-нің 9-ы, ал модельдер 10 және 12. Тағы бір мысалда GPT-6 Astra пигменті өте аз меланоманы базалиомамен шатастырып, сенімділігін 95% деп көрсетті.

Желінің меланомадағы қателері керісінше бағытта болды. Оның 17 қатесінде ол меланоманы 8 рет мең, 6 рет себореялық кератоз деп атады — екеуі де қалдыруға болатын нәрсе. Мұндай диагнозбен адамды үйге жіберу оңай.

Бәрі шекке байланысты

Дәрігерге көбіне «бұл не» деген сұраққа қарағанда қарапайым сұрақтың жауабы керек: адамды үйге жіберу керек пе, жоқ па. Желі оған 0-ден 1-ге дейінгі санмен жауап береді, ол түзілімнің қаншалықты қауіпті көрінетінін білдіреді. Шек — осы шәкілдегі белгі, одан жоғары желі «тексертіңіз» дейді. Белгіні түсірсең, дабыл көбейеді. Көтерсең, желі көбірек адамды үйге жібереді.

Тілдік модельдер 100 қауіпті түзілімнің 97-сін және 96-сын бақылауда ұстады. Олар 30 меланоманың 3-ін және 4-ін үйге жіберді. Бірақ зиянсыздарды да аз жіберді: 100-дің 32-сін және 22-сін. Қалған қатерсіз мені бар әрбір адам қажетсіз қабылдауға немесе биопсияға жіберілер еді.

Ескі желінің шегі басқа суреттерде алдын ала қойылған және осы 200 жағдайға бапталмаған. Онымен желі басқаша әрекет етті. Ол 100 зиянсыз түзілімнің 76-сын үйге жіберді және қауіптілердің тек 77-сін ұстады. Жіберіп алғандарының ішінде 30 меланоманың 18-і болды. Желі қандай диагноз атағанына қарамастан, үйге жіберуді өзінің күдік шәкілімен шешеді. Сондықтан ол 17 жағдайда меланома диагнозын қате қойса да, 18 меланоманы жіберіп алды.

Шекті чат-боттардың сақтығына сәйкестендірсең, көрініс өзгереді. Желі 100 қауіпті түзілімнің 98-ін немесе 99-ын ұстайды, ал тілдік модельдер 97 мен 96, және ол үш пен төрттің орнына бір-екі меланоманы жібереді. Сақтықтың дәл сондай деңгейінде ескі желі екі модельден де екі көрсеткіште озады. 18 жіберілген меланома таңдалған белгі туралы көбірек айтады. Оны әзірлеушілер қояды, ал пайдаланушының оған ықпалы жоқ.

«Дәрігерге бару керек пе?» сұрағы

Қарапайым адам дәрігерден басқаша сұрайды. Сол KFF сауалнамасында америкалық ересектердің 13%-ы чат-боттарға өзінің медициналық ақпаратын, мысалы талдау нәтижелерін немесе дәрігер жазбаларын жүктегенін айтты.

Линч бұл сценарийді де тексерді. Ол модельдерге дерматоскоп суретінсіз тек қарапайым фотоны көрсетіп, науқастың сұрағын қойды: «Маған дәрігерге бару керек пе?». Екі модель де зиянсыз түзілімдерді қоса алғанда, дерматологқа барып көруді дерлік әрдайым ұсынды. Биопсиямен расталған 100 меланомадан тұратын бөлек жиында олар адамды 99 және 98 жағдайда дәрігерге жіберді.

Мең суретін түсіріп, ChatGPT немесе Claude арқылы жүктейтін адам үшін бұдан екі қорытынды шығады. Чат-бот меланоманы жібермейтін шығар. Бірақ қатерсіз меңді де ақтамайды, сондықтан оның «тексертіңіз» дегені бізге дерлік ештеңе айтпайды. Ол күйген тосттың бәріне шырылдайтын түтін датчигі сияқты: өрт кезінде ұйықтап қалмайды, бірақ өрт пен таңғы асты ажырата алмайды.

Бұл тест нені дәлелдемейді

Әлсіз тұстарын Линч өзі санап көрсетеді. Екі жүз түзілім жалпы заңдылықты көрсетуге жетеді, бірақ жақын нәтижелерді саралауға жетпейді. Отыз меланома ең маңызды көрсеткіште үлкен белгісіздік қалдырады. Әр тілдік модель әр жағдайды бір-ақ рет көрді, ал олардың жауаптары әр жолы әртүрлі болады. MILK10k 2025 жылдан бері ашық, сондықтан модельдер оны оқыту кезінде көрген болуы мүмкін. Автордың пікірінше, бұл, егер әсер етсе, оларға көмектесер еді.

Тестте Inception v3 базалық үлгі ретінде қолданылады. Қазіргі тері диагностикасының ең жақсы жүйелері жаңарақ буындағы бірнеше желіні біріктіріп, көбірек деректермен оқытылады. Линчтің айтуынша, соларға негізделген реттелетін өнімдер әлдеқайда жақсы жұмыс істейді. Жиын ескі желі үшін де қиын болды: ISIC Archive-тің қарапайым суреттерінде ол қауіптіні қауіпсізден дәлірек ажыратты. Ондағы жиынтық көрсеткіші 0,96, ал мұнда 0,86, мұнда 1 қатесіздікті, 0,5 болжауды білдіреді.

Тест рецензиядан өтпеген: ол зертхана сайтындағы жазба. Орнына Линч тексеруге қажеттінің бәрін жариялады: жағдайларды, промптыларды, модельдердің әр жауабын және бағалау кодын. Талдау мен алғашқы нұсқалар Anthropic-тің кодтау құралы Claude Code арқылы жасалғанын ашып айтады, ал тексерілген модельдердің бірі де Anthropic-ten. Желі зерттеу демосы ретінде онлайн тұр және медициналық құрал емес. Линчтің өзі оның кейбір тері ракын, соның ішінде меланоманы жіберіп алатыны туралы ескертеді және дәрігерге бару-бармауды шешу үшін қолданбау керек дейді.

Екі жетекші модель де құлағында меланомасы бар науқасты, дәрігер ретінде екі фотомен сұралғанда, үйге жіберер еді. Науқастың кеңесшісі рөлінде олар оны басқалар сияқты дәрігерге жіберер еді. Ескі желі бұл меланоманы көрді, бірақ ол үнсіз қала ма, дабыл қағады ма — шәкілдегі бір белгіге байланысты. Сондықтан қай ЖИ ақылды деген сұрақтан маңыздырақ сұрақ мынау: машина үнсіз қалатын белгіні кім және қайда қояды?