Нейрасетка 2015 года абыйшла GPT-6 і Claude ў распазнаванні рака скуры

Меланома сядзіць на вуху пацыента. Яна тонкая, але ўжо пачала расці ўглыб скуры. Дэрматолаг Магнус Лінч паказаў два яе фота двум самым моцным ІІ-мадэлям на кастрычнік 2026 года, GPT-6 Astra і Claude Fable 5.1. Абедзве адказалі аднолькава: себарэйны кератоз, бяскрыўдны бародаўчаты нарост, пацыента можна адпускаць. Тады тыя ж фота атрымала нейрасетка, якую інжынеры Google апісалі яшчэ ў 2015 годзе. Яна назвала ўтварэнне меланомай.

Гэта не выпадковасць. У тэсце, апублікаваным 25 кастрычніка 2026 года , старая сетка Inception v3 правільна назвала дыягназ у 125 з 200 утварэнняў, гэта 62%. Абедзве перадавыя мадэлі далі па 42%. Даўчэнне старой сеткі на здымках скуры заняло, паводле аўтара, каля дваццаці хвілін. Самае цікавае ў тэсце хаваецца за межамі балаў дакладнасці: кожная машына памыляецца па-свойму, і менавіта гэта вырашае, каго адправяць дадому з ракам. Гэта ўжо не акадэмічнае пытанне. Паводле апытання KFF , праведзенага з 24 лютага па 2 сакавіка 2026 года, 32% амерыканскіх дарослых за мінулы год пыталіся ў ІІ-чат-ботаў пра здароўе, і фота радзімкі ў такім чаце сёння нікога не здзіўляе.

Дзвесце радзімак, якія хтосьці ўжо выразаў

Лінч — дэрматолаг-кансультант і хірург па метадзе Моса ў лонданскай бальніцы Guy’s, ганаровы выкладчык Каралеўскага каледжа Лондана. Ён даследуе рак скуры і выкарыстанне ІІ у дэрматалогіі, таму тэст пабудаваў так, як гэта зрабіў бы клініцыст. Здымкі ўзяў з MILK10k, адкрытага набору, які ў 2025 годзе выпусціла Міжнародная супольнасць дэрматалагічнай візуалізацыі (ISIC). Кожнае ўтварэнне ў ім сфатаграфавана двойчы: як звычайны буйны план і праз дэрматаскоп.

Лінч выпадковым чынам выбраў 200 утварэнняў. Кожны дыягназ быў пацверджаны гісталогіяй, гэта значыць выдаленую тканку вывучылі пад мікраскопам. Сто з іх нельга адпускаць без нагляду: 30 меланом, 25 базаліём, 25 плоскаклетачных ракаў і 20 актынічных кератозаў, шурпатых ушкоджаных сонцам плям, якія могуць стаць ракам. Яшчэ сто бяскрыўдныя: 50 звычайных радзімак і 50 себарэйных кератозаў.

Базаліёма і плоскаклетачны рак — самыя частыя віды рака скуры, і, як адзначае Cancer Research UK , яны рэдка даюць метастазы ў іншыя часткі цела. Мяжа, якая найбольш важная ў гэтым тэсце, — меланома. Прапусціць яе — найгоршая памылка, таму прыняць меланому за базаліёму — меншае зло: пацыент усё роўна застаецца пад наглядам урача.

Ёсць падвох, і аўтар сам на яго паказвае. Бяскрыўдныя ўтварэнні ў наборы таксама выразалі і адправілі ў лабараторыю. Калі хтосьці вырашыў выдаліць радзімку, значыць, нешта ў ёй трывожыла клініцыста. Таму ў тэсце поўна самых каварных радзімак, тых, што прымушаюць спецыялістаў задумацца.

Мадэлі атрымлівалі абодва фота і адказвалі на тое, што спытаў бы ўрач: якое з шасці дыягназаў найбольш верагоднае, наколькі яны ўпэўненыя, што было б другім выбарам і ці можна адпусціць пацыента без лячэння, біяпсіі і назірання. Ні адна мадэль не адмовілася ні ў адным выпадку.

Сетка, з якой пачаўся ІІ-дэрматолаг

Inception v3 ствараў не для медыцыны. У артыкуле са снежня 2015 года інжынеры Google прадставілі яе як сетку для распазнавання звычайных прадметаў на фота. Гэта звіўтачная нейрасетка: яна праглядае малюнак малымі «акенцамі» і збірае драбніцы, такія як краі і плямы, у ўсё буйнейшыя ўзоры.

У студзені 2017 года яе ўзяла каманда са Стэнфарда. Яны даўчылі сетку на 129 450 здымках скуры з 2032 хваробамі і паведамілі ў Nature , што на здымках з пацверджаным біяпсіяй дыягназам яна адрознівае рак ад бяскрыўдных утварэнняў гэтак жа добра, як 21 дэрматолаг з сертыфікатам. Аўтары выказалі здагадку, што такая сетка ў смартфоне можа вынесці дапамогу дэрматолага за межы клінікі.

Лінч узяў тую ж архітэктуру і даўчыў яе на 68 011 здымках з архіва ISIC на адной відэакартцы. Усе 200 тэставых утварэнняў і любыя іншыя фота тых жа ўтварэнняў ці тых жа пацыентаў ён загадзя выдаліў з навучальных даных, так што сетка іх ніколі не бачыла. Найноўшыя моўныя мадэлі пішуць код, правяраюць кантракты і размаўляюць пра ўсё на свеце. У распазнаванні радзімак яны прайгралі вузкаму спецыялісту дзесяцігадовай даўніны.

У кожнай вялікай мадэлі ёсць любімы адказ

Найбольшая розніца ў бяскрыўдных утварэннях. GPT-6 Astra пазнала толькі 16 радзімак з 50, Claude Fable 5.1 — толькі 6 себарэйных кератозаў з 50, а сетка — 37 і 26. Чат-боты горш за ўсё распазнаюць якраз тое, што можна не чапаць. Ні адна лічба па меланомах не ўражвае, і гэта сумленная карціна складанага набору.

Горш за тое, у кожнай моўнай мадэлі быў любімы адказ. GPT-6 Astra назвала базаліёмай 75 утварэнняў, хоць у наборы іх было 25, і 14 з 30 меланом трапілі ў гэтую кучу. Такі пацыент усё роўна застаўся б пры ўрачы: меланому прынялі за іншы рак. Усе 25 сапраўдных базаліём яна пазнала правільна, на адну болей, чым 24 у сеткі. Гэты ідэальны вынік — пабочны эфект звычкі: назаві базаліёмай кожнае трэцяе ўтварэнне, і ніводнае сапраўднае не праскочыць. Claude Fable 5.1 убачыла актынічны кератоз у 53 выпадках пры сапраўдных 20. На гэтых кератозах старая сетка прайграла абедзвюм мадэлям: 9 з 20 супраць 10 і 12. У іншым прыкладзе GPT-6 Astra прыняла меланому з вельмі малой колькасцю пігмента за базаліёму і ацаніла сваю ўпэўненасць у 95%.

Памылкі сеткі па меланомах ішлі ў адваротны бок. З яе 17 промахаў меланому яна 8 разоў назвала радзімкай і 6 разоў себарэйным кератозам, а гэта тое, што можна не чапаць. З такім дыягназам чалавека лёгка адправіць дадому.

Усё вызначае парог

Урачу часта патрэбен адказ на прасцейшае пытанне, чым «што гэта»: адпраўляць чалавека дадому ці не. Сетка адказвае на яго лікам ад 0 да 1, які паказвае, наколькі ўтварэнне падобнае на небяспечнае. Парог — гэта адзнака на гэтай шкале, вышэй за якую сетка кажа «праверце». Апусціце адзнаку — атрымаеце болей трывог. Падніміце — і сетка адправіць дадому болей людзей.

Моўныя мадэлі пакідалі пад наглядам 97 і 96 са 100 небяспечных утварэнняў. Яны адпусцілі 3 і 4 з 30 меланом. Але і бяскрыўдных яны адпускалі няшмат: 32 і 22 са 100. Усіх астатніх з даброякаснай радзімкай адправілі б на непатрэбны прыём ці біяпсію.

Парог старой сеткі быў зададзены загадзя на іншых здымках і не падганяўся пад гэтыя 200 выпадкаў. З ім сетка паводзіла сябе інакш. Яна адпусціла 76 са 100 бяскрыўдных утварэнняў і пакінула пад наглядам толькі 77 небяспечных. Сярод тых, каго яна адпусціла, было 18 з 30 меланом. Сетка вырашае, адпускаць ці не, па ўласнай шкале падазронасці, якім бы дыягназ ні назваць. Таму яна адпусціла 18 меланом, хоць дыягназ «меланома» памылковы ў 17 выпадках.

Падгоніце парог пад асцярожнасць чат-ботаў — і карціна мяняецца. Сетка пакідае пад наглядам 98 ці 99 са 100 небяспечных утварэнняў супраць 97 і 96 у моўных мадэляў і адпускае адну-дзве меланомы супраць трох і чатырох. Пры аднолькавай асцярожнасці старая сетка пераўзыходзіць абедзве мадэлі па абодвух паказчыках. 18 прапушчаных меланом больш кажуць пра абраную адзнаку. Яе ставяць распрацоўшчыкі, а карыстальнік на яе не ўплывае.

Пытанне «ці варта звярнуцца да ўрача?»

Звычайны чалавек пытаецца інакш, чым урач. У тым жа апытанні KFF 13% амерыканскіх дарослых сказалі, што загружалі ў чат-боты ўласную медыцынскую інфармацыю, напрыклад вынікі аналізаў ці ўрачэбныя запіскі.

Лінч праверыў і гэты сцэнарый. Ён паказваў мадэлям толькі звычайнае фота, без здымка з дэрматаскопа, і задаваў пытанне пацыента: «Ці трэба мне да ўрача?» Абедзве мадэлі раілі ісці да ўрача амаль заўсёды, уключаючы бяскрыўдныя ўтварэнні. На асобным наборы са 100 меланом з пацверджаным біяпсіяй дыягназам яны адправілі чалавека да ўрача ў 99 і 98 выпадках.

Таму, хто фатаграфуе радзімку і загружае яе ў ChatGPT ці Claude , з гэтага вынікаюць дзве рэчы. Чат-бот, хутчэй за ўсё, не прапусціць меланому. Але ён не апраўдае і даброякасную радзімку, таму яго «праверце» амаль нічога не гаворыць. Ён паводзіць сябе як пажарная сігналізацыя, што спрацоўвае на кожны падпалены грэнак: праз пажар не праспіць, але адрозніць пажар ад сняданку не здольны.

Чаго гэты тэст не даказвае

Слабыя месцы Лінч пералічвае сам. Двухсот утварэнняў хопіць, каб паказаць агульную заканамернасць, але не каб ранжыраваць блізкія вынікі. Трыццаць меланом пакідаюць вялікую нявызначанасць у самым важным паказчыку. Кожная моўная мадэль бачыла кожны выпадак адзін раз, а іх адказы ад запуску да запуску розняцца. MILK10k у адкрытым доступе з 2025 года, таму мадэлі маглі бачыць яго пры навучанні. На думку аўтара, гэта хутчэй дапамагло б ім.

У тэсце Inception v3 служыць базавай лініяй. Лепшыя сённяшнія сістэмы дыягностыкі скуры спалучаюць некалькі сетак новых пакаленняў і вучацца на большым аб’ёме даных. Рэгуляваныя прадукты на іх аснове, па словах Лінча, працуюць прыкметна лепш. Набор быў цяжкі і для старой сеткі: на звычайных здымках архіва ISIC яна дакладней адрознівала небяспечныя ўтварэнні ад бяспечных. Яе зводны бал там 0,96 супраць 0,86 тут, дзе 1 азначае ні адной памылкі, а 0,5 — вядзенне навыпадак.

Тэст не прайшоў рэцэнзавання: гэта допіс на сайце лабараторыі. Затое Лінч апублікаваў усё, што трэба для праверкі: выпадкі, запыты, кожны адказ мадэляў і код падліку балаў. Ён паведамляе, што аналіз і першыя чарнавікі зроблены з Claude Code, інструментам Anthropic для праграмавання, хоць адна з правераных мадэлей таксама ад Anthropic. Сетка даступная анлайн як даследчая дэманстрацыя і не з’яўляецца медыцынскім вырабам. Сам Лінч папярэджвае, што яна прапускае частку ракаў скуры, меланому ў тым ліку, і па ёй нельга вырашаць, ісці да ўрача ці не.

Абедзве перадавыя мадэлі адправілі б пацыента з меланомай на вуху дадому, калі б іх спыталі як урача і паказалі абодва фота. Выступаючы ў ролі парадчыка пацыента, яны адправілі б яго да ўрача, як і ўсіх астатніх. Старая сетка гэтую меланому ўбачыла, але ці прамаўчыць яна, ці падніме трывогу, залежыць ад адзнакі на яе шкале. Таму важнейшае за пытанне, чый ІІ разумнейшы, такое: хто ставіць адзнаку, ніжэй за якую машына маўчыць, і дзе?