Нейросеть 2015 года обошла GPT-6 и Claude в распознавании рака кожи

На ухе у пациента тонкая меланома, которая уже начала прорастать вглубь кожи. Дерматолог Магнус Линч показал два её снимка двум из самых сильных ИИ-моделей октября 2026 года — GPT-6 Astra и Claude Fable 5.1. Обе ответили одинаково: себорейный кератоз, безобидный бородавчатый нарост, пациента можно отпускать. Потом те же снимки увидела нейросеть, которую инженеры Google описали ещё в 2015 году. Она назвала опухоль меланомой.

Этот случай не исключение. В тесте, опубликованном 25 октября 2026 года , старая сеть Inception v3 поставила верный диагноз 125 образованиям из 200, это 62%. У обеих новейших моделей — по 42%. Чтобы дообучить старую сеть на снимках кожи, автору, по его словам, хватило около двадцати минут. Но самое интересное в тесте — не проценты. Каждая машина ошибается по-своему, и от этого зависит, кого отправят домой с раком. Вопрос давно не академический. Судя по опросу KFF с 24 февраля по 2 марта 2026 года, 32% взрослых американцев за год хотя бы раз спрашивали чат-ботов о здоровье. Фото родинки в таком чате уже никого не удивит.

Двести родинок, которые кто-то уже вырезал

Линч работает дерматологом и хирургом в лондонской больнице Гая и преподаёт в Королевском колледже Лондона. Он изучает рак кожи и то, чем ИИ может помочь дерматологу, так что тест собирал как клиницист. Снимки он взял из открытого набора MILK10k: в 2025 году его выпустило Международное сообщество по визуализации кожи (ISIC). Каждое образование там снято дважды: обычным крупным планом и через дерматоскоп.

Из набора Линч наугад выбрал 200 образований. Диагноз каждого подтвердила гистология: вырезанную ткань изучили под микроскопом. Сто случаев опасны, с ними пациента отпускать нельзя: 30 меланом, 25 базалиом, 25 плоскоклеточных раков и 20 актинических кератозов, шершавых пятен от солнца, которые могут переродиться в рак. Другие сто безопасны: 50 обычных родинок и 50 себорейных кератозов.

Базалиома и плоскоклеточный рак — самые частые раки кожи. Как пишет Cancer Research UK , в другие части тела они распространяются редко. Самая важная строка теста — меланома. Пропустить её хуже всего, поэтому спутать меланому с базалиомой ещё полбеды: пациент всё равно останется у врача.

Есть подвох, и автор называет его сам. Безобидные образования из набора тоже вырезали и отправили на анализ. Раз родинку решили удалить, значит, она чем-то встревожила врача. Так что в тест попали самые коварные родинки, трудные даже для глаза специалиста.

Линч показал моделям оба снимка и спросил так, как спросил бы врач: какой из шести диагнозов вероятнее, насколько модель уверена, каков второй вариант и можно ли отпустить пациента без лечения, биопсии и наблюдения. Ни одна не отказалась отвечать.

Сеть, с которой начинался ИИ-дерматолог

Inception v3 придумали не для медицины. В статье декабря 2015 года инженеры Google представили её как сеть, которая узнаёт на фотографиях обычные предметы. Это свёрточная нейросеть: она просматривает картинку маленькими окошками и собирает из мелких деталей вроде краёв и пятен всё более крупные узоры.

В январе 2017 года её взяла группа из Стэнфорда. Учёные дообучили сеть на 129 450 снимках 2032 кожных болезней и описали в Nature , что получилось: на снимках, подтверждённых биопсией, она отличала рак от безобидных образований не хуже 21 сертифицированного дерматолога. Авторы тогда писали, что такая сеть в смартфоне могла бы вынести работу дерматолога за пределы клиники.

Линч взял ту же архитектуру и на одной видеокарте дообучил её на 68 011 снимках из архива ISIC . Все 200 тестовых образований и любые другие снимки тех же пациентов он заранее убрал из обучающих данных, так что сеть их не видела. Новейшие языковые модели пишут код, разбирают договоры и поддерживают беседу о чём угодно. А родинки узнают хуже, чем узкий специалист десятилетней давности.

У каждой большой модели свой любимый ответ

Сильнее всего модели расходятся на безобидных образованиях. GPT-6 Astra узнала только 16 родинок из 50, Claude Fable 5.1 — только 6 себорейных кератозов из 50, у сети — 37 и 26. Чат-боты хуже всего узнают как раз то, что можно не лечить. Цифры по меланомам не впечатляют ни у кого: набор и правда трудный.

Хуже другое: у каждой языковой модели нашёлся любимый ответ. GPT-6 Astra назвала базалиомой 75 образований при 25 настоящих, и в эту кучу попали 14 меланом из 30. Такого пациента всё равно оставят у врача: меланому спутали с другим раком. Зато она угадала все 25 настоящих базалиом, а сеть — 24. Идеальный счёт здесь — побочный эффект привычки: если называть базалиомой каждое третье образование, ни одна настоящая не ускользнёт. Claude Fable 5.1 увидела актинический кератоз в 53 случаях, а настоящих было 20. На этих кератозах старая сеть уступила обеим моделям: 9 из 20 против 10 и 12. Ещё одну слабо пигментированную меланому GPT-6 Astra приняла за базалиому и была уверена в этом на 95%.

Сеть ошибалась на меланомах в другую сторону. Из 17 промахов она 8 раз назвала меланому родинкой и 6 раз — себорейным кератозом. С таким диагнозом человека легко отпустить домой.

Всё решает порог

Врачу часто важнее не «какой это диагноз», а вопрос попроще: отпускать человека домой или нет. Сеть отвечает на него числом от 0 до 1: насколько образование похоже на опасное. Порог — отметка на этой шкале, выше которой сеть говорит «покажитесь врачу». Опусти отметку, и тревожных ответов станет больше. Подними, и сеть будет чаще отпускать домой.

Языковые модели оставили под наблюдением 97 и 96 опасных образований из 100. Домой они отпустили 3 и 4 меланомы из 30. Но и безобидных отпустили мало: 32 и 22 из 100. Остальных людей со спокойными родинками модели отправили бы на лишний приём или биопсию.

Порог старой сети выставили заранее, на других снимках, и под эти 200 случаев его не подбирали. С ним сеть вела себя иначе: отпустила 76 безобидных образований из 100, но удержала только 77 опасных. Среди отпущенных оказались 18 меланом из 30. Отпускать или нет, сеть решает по шкале подозрения, а не по названию диагноза. Поэтому отпущенных меланом 18, хотя с диагнозом меланомы она ошиблась в 17 случаях.

Если подогнать порог под осторожность чат-ботов, картина меняется. Сеть удерживает 98 или 99 опасных образований из 100 против 97 и 96 у языковых моделей и отпускает одну или две меланомы против трёх и четырёх. При той же осторожности старая сеть обходит обе модели по обоим показателям. Выходит, 18 пропущенных меланом говорят прежде всего о выбранной отметке. Её выставляют разработчики, пользователь на неё не влияет.

Вопрос «мне к врачу?»

Обычный человек спрашивает иначе, чем врач. По тому же опросу KFF, 13% взрослых американцев загружали в чат-боты свои медицинские данные, например анализы или записи врача.

Линч проверил и этот сценарий. Он показал моделям только обычное фото, без дерматоскопа, и задал вопрос пациента: «Мне нужно к врачу?» Обе модели почти всегда советовали врача, даже при безобидных образованиях. Из отдельной сотни меланом, тоже подтверждённых биопсией, к врачу они отправили 99 и 98.

Что это значит для того, кто сфотографировал родинку и загрузил снимок в ChatGPT или Claude ? Две вещи. Меланому чат-бот, скорее всего, не пропустит. Спокойную родинку он тоже не отпустит, поэтому его «покажитесь врачу» почти ничего не сообщает. Так ведёт себя пожарная сигнализация, которая срабатывает на каждый подгоревший тост: опасность она не проспит, но и отличить пожар от завтрака не поможет.

Чего этот тест не доказывает

Слабые места Линч перечисляет сам. Двухсот образований хватает, чтобы увидеть общую картину, но мало, чтобы расставить близкие результаты по местам. Тридцать меланом дают большой разброс в самой важной цифре. Каждый случай языковые модели проходили один раз, а их ответы от запуска к запуску меняются. Набор MILK10k открыт с 2025 года, и модели могли видеть его при обучении. Если так, считает автор, это скорее помогло бы им.

Inception v3 в тесте служит точкой отсчёта. Лучшие современные системы для диагностики кожи собирают из нескольких нейросетей нового поколения и учат на куда большем объёме данных. Сертифицированные продукты на их основе, по словам Линча, работают заметно лучше. Набор оказался трудным и для старой сети: на обычных снимках из архива ISIC она разделяла опасное и безопасное точнее. Её сводная оценка там 0,96, а здесь 0,86 (1 — работа без ошибок, 0,5 — угадывание).

Рецензию тест не проходил, это пост в блоге лаборатории. Зато Линч выложил всё, что нужно для проверки: случаи, запросы, каждый ответ моделей и код подсчёта. Он признаётся, что анализ и первые черновики текста делал в Claude Code, инструменте Anthropic, а одна из проверенных моделей тоже принадлежит Anthropic. Сеть он выложил как исследовательскую демонстрацию , медицинским прибором она не считается. И предупреждает: сеть пропускает часть раков кожи, в том числе меланомы, и решать по ней, идти ли к врачу, нельзя.

Пациента с меланомой на ухе обе новейшие модели отпустили бы домой, когда их спрашивали как врача и показывали два снимка. В роли советчика пациента они отправили бы его к врачу, как и всех остальных. Старая сеть эту меланому увидела, но поднимет ли она тревогу, решает отметка на шкале. Так что вопрос не в том, какой ИИ умнее. Кто и где ставит отметку, ниже которой машина молчит?