Un réseau de neurones de 2015 bat GPT-6 et Claude au dépistage du cancer de la peau

Le mélanome se trouve sur l’oreille d’un patient. Il est fin, mais il a déjà commencé à s’enfoncer dans la peau. Le dermatologue Magnus Lynch en a montré deux photos aux deux modèles d’IA les plus performants d’octobre 2026, GPT-6 Astra et Claude Fable 5.1. Tous deux ont donné la même réponse : kératose séborrhéique, une excroissance verruqueuse sans danger, le patient peut rentrer chez lui. Les mêmes photos ont ensuite été soumises à un réseau de neurones décrit par des ingénieurs de Google dès 2015. Lui a parlé de mélanome.

Ce cas n’a rien d’un hasard. Dans un test publié le 25 octobre 2026 , le vieux réseau Inception v3 a donné le bon diagnostic pour 125 lésions sur 200, soit 62 %. Les deux modèles de pointe n’ont atteint que 42 %. Selon l’auteur, l’adaptation de l’ancien réseau aux images de peau a pris environ vingt minutes. Le plus intéressant se trouve pourtant au-delà du score : chaque machine se trompe à sa manière, et c’est ce qui décide qui rentre chez lui avec un cancer. La question n’a plus rien d’académique. Dans un sondage KFF mené du 24 février au 2 mars 2026, 32 % des adultes américains disaient avoir interrogé des chatbots sur leur santé au cours de l’année écoulée, et la photo d’un grain de beauté envoyée dans une telle conversation ne surprend plus personne.

Deux cents grains de beauté déjà retirés

Lynch est dermatologue consultant et chirurgien de Mohs à l’hôpital Guy’s de Londres, et maître de conférences honoraire au King’s College London. Il étudie le cancer de la peau et l’usage de l’IA en dermatologie, et il a donc construit le test en clinicien. Les images viennent de MILK10k, un jeu de données public publié en 2025 par l’International Skin Imaging Collaboration (ISIC). Chaque lésion y est photographiée deux fois : en gros plan ordinaire, puis à travers un dermatoscope.

Lynch a tiré au hasard 200 lésions. Chaque diagnostic a été confirmé par histologie, c’est-à-dire par l’examen au microscope du tissu retiré. Cent de ces lésions ne doivent pas être laissées sans suite : 30 mélanomes, 25 carcinomes basocellulaires, 25 carcinomes épidermoïdes et 20 kératoses actiniques, des plaques rugueuses causées par le soleil, qui peuvent évoluer en cancer. Les cent autres sont sans danger : 50 grains de beauté ordinaires et 50 kératoses séborrhéiques.

Les carcinomes basocellulaires et épidermoïdes sont les cancers de la peau les plus fréquents et, comme le note Cancer Research UK , ils se propagent rarement à d’autres parties du corps. Le mélanome est la ligne qui compte le plus dans ce test. Le manquer est l’erreur la plus grave ; c’est pourquoi prendre un mélanome pour un carcinome basocellulaire est un moindre mal : le patient reste de toute façon entre les mains du médecin.

Il y a un hic, et l’auteur le souligne lui-même. Les lésions bénignes du jeu ont elles aussi été retirées et envoyées au laboratoire. Si quelqu’un a décidé d’enlever un grain de beauté, c’est que quelque chose avait inquiété un clinicien. Le test est donc rempli de grains de beauté parmi les plus retors, ceux qui font hésiter même les spécialistes.

Les modèles recevaient les deux photos et devaient répondre à ce que demanderait un médecin : lequel de six diagnostics est le plus probable, avec quelle confiance, quel serait le deuxième choix, et le patient peut-il rentrer sans traitement, biopsie ni suivi. Aucun des deux modèles n’a refusé un seul cas.

Le réseau qui a lancé le dermatologue artificiel

Inception v3 n’a pas été conçu pour la médecine. Dans un article de décembre 2015 , des ingénieurs de Google le présentaient comme un réseau de reconnaissance d’objets du quotidien sur des photos. C’est un réseau de neurones convolutif : il balaie l’image à travers de petites fenêtres et assemble de menus détails, comme des contours et des taches, en motifs toujours plus grands.

En janvier 2017, une équipe de Stanford s’en est emparée. Elle l’a adapté à 129 450 images de peau couvrant 2 032 maladies et a rapporté dans Nature que, sur des images confirmées par biopsie, il distinguait les cancers des lésions bénignes aussi bien que 21 dermatologues certifiés. Les auteurs suggéraient qu’un tel réseau, dans un smartphone, pourrait porter l’expertise du dermatologue bien au-delà du cabinet.

Lynch a repris la même architecture et l’a adaptée à 68 011 images de l’ISIC Archive sur une seule carte graphique. Il avait préalablement retiré des données d’entraînement les 200 lésions du test, ainsi que toute autre photo des mêmes lésions ou des mêmes patients, si bien que le réseau ne les avait jamais vues. Les modèles de langage les plus récents écrivent du code, relisent des contrats et discutent de tout et de rien. Pour reconnaître des grains de beauté, ils ont perdu face à un spécialiste étroit d’il y a dix ans.

Chaque grand modèle a sa réponse favorite

L’écart est le plus grand sur les lésions bénignes. GPT-6 Astra n’a reconnu que 16 grains de beauté sur 50, Claude Fable 5.1 seulement 6 kératoses séborrhéiques sur 50, là où le réseau en a trouvé 37 et 26. Les chatbots sont les plus faibles précisément sur ce qu’on peut laisser tranquille. Aucun des chiffres sur les mélanomes n’est impressionnant, ce qui reflète honnêtement la difficulté du jeu.

Plus grave, chaque modèle de langage avait sa réponse favorite. GPT-6 Astra a étiqueté 75 lésions comme carcinome basocellulaire alors que le jeu en contenait 25, et 14 des 30 mélanomes ont atterri dans ce tas. Ce patient resterait quand même suivi par le médecin : le mélanome a été pris pour un autre cancer. Le modèle a en revanche trouvé les 25 vrais carcinomes basocellulaires, un de plus que les 24 du réseau. Ce score parfait est un effet secondaire de l’habitude : si l’on traite une lésion sur trois de carcinome basocellulaire, aucun vrai ne passe à travers. Claude Fable 5.1 a vu une kératose actinique dans 53 cas, pour 20 réels. Sur ces kératoses, le vieux réseau a perdu face aux deux modèles, avec 9 sur 20 contre 10 et 12. Dans un autre exemple, GPT-6 Astra a pris un mélanome très peu pigmenté pour un carcinome basocellulaire et chiffré sa confiance à 95 %.

Les erreurs du réseau sur les mélanomes allaient dans l’autre sens. Sur ses 17 ratés, il a pris le mélanome 8 fois pour un grain de beauté et 6 fois pour une kératose séborrhéique, deux choses que l’on peut laisser en paix. Avec un tel diagnostic, il est facile de renvoyer quelqu’un chez lui.

Tout se joue sur le seuil

Ce dont un médecin a souvent besoin, c’est la réponse à une question plus simple que « qu’est-ce que c’est » : renvoyer la personne chez elle ou non. Le réseau y répond par un nombre de 0 à 1, qui indique à quel point une lésion paraît dangereuse. Le seuil est un repère sur cette échelle, au-dessus duquel le réseau dit « faites vérifier ça ». Abaissez le repère et vous obtenez plus d’alarmes. Relevez-le et le réseau renvoie plus de gens chez eux.

Les modèles de langage ont gardé sous surveillance 97 et 96 des 100 lésions dangereuses. Ils ont laissé partir 3 et 4 des 30 mélanomes. Mais ils ont aussi laissé partir peu de lésions bénignes : 32 et 22 sur 100. Tous les autres porteurs d’un grain de beauté bénin auraient été envoyés vers une consultation ou une biopsie inutiles.

Le seuil du vieux réseau avait été fixé à l’avance sur d’autres images, sans être ajusté à ces 200 cas. Avec lui, le réseau s’est comporté autrement. Il a laissé partir 76 des 100 lésions bénignes et n’en a gardé que 77 sur les dangereuses. Parmi celles qu’il a laissées partir figuraient 18 des 30 mélanomes. Le réseau décide de renvoyer ou non d’après sa propre échelle de suspicion, quel que soit le diagnostic qu’il énonce. C’est pourquoi il a laissé passer 18 mélanomes alors qu’il s’est trompé de diagnostic sur le mélanome dans 17 cas.

Alignez le seuil sur la prudence des chatbots et le tableau change. Le réseau garde 98 ou 99 des 100 lésions dangereuses, contre 97 et 96 pour les modèles de langage, et laisse partir un ou deux mélanomes, contre trois et quatre. À prudence égale, le vieux réseau l’emporte sur les deux modèles à la fois sur ces deux points. Les 18 mélanomes manqués en disent plus sur le repère choisi. Ce sont les développeurs qui le fixent, et l’utilisateur n’a pas son mot à dire.

La question « dois-je voir un médecin ? »

Une personne ordinaire ne pose pas la question comme un médecin. Dans le même sondage KFF, 13 % des adultes américains disaient avoir transmis leurs propres informations médicales à des chatbots, par exemple des résultats d’analyses ou des notes de médecins.

Lynch a testé ce scénario aussi. Il n’a montré aux modèles que la photo ordinaire, sans l’image du dermatoscope, et a posé une question de patient : « Dois-je consulter un médecin ? » Les deux modèles ont conseillé de consulter presque à chaque fois, lésions bénignes comprises. Sur un jeu distinct de 100 mélanomes confirmés par biopsie, ils ont envoyé la personne chez un médecin dans 99 et 98 cas.

Pour quelqu’un qui photographie un grain de beauté et l’envoie à ChatGPT ou à Claude , deux choses en découlent. Le chatbot ne ratera probablement pas un mélanome. Mais il n’innocentera pas non plus un grain de beauté bénin, et son « faites vérifier » n’apprend donc presque rien. Il se comporte comme un détecteur de fumée qui se déclenche à chaque tranche de pain grillé brûlée : il ne dormira pas pendant un incendie, mais il ne distingue pas un incendie d’un petit-déjeuner.

Ce que ce test ne prouve pas

Lynch énumère lui-même les points faibles. Deux cents lésions suffisent pour montrer la tendance générale, pas pour classer des résultats proches. Trente mélanomes laissent une large incertitude sur le chiffre le plus important. Chaque modèle de langage a vu chaque cas une seule fois, et ses réponses varient d’une exécution à l’autre. MILK10k est public depuis 2025, les modèles ont donc pu le voir à l’entraînement. Selon l’auteur, cela les aurait plutôt aidés.

Inception v3 sert de référence dans le test. Les meilleurs systèmes actuels de diagnostic cutané combinent plusieurs réseaux plus récents et s’entraînent sur davantage de données. Les produits réglementés construits dessus, dit Lynch, font nettement mieux. Le jeu était difficile aussi pour le vieux réseau : sur les images ordinaires de l’ISIC Archive, il séparait plus précisément les lésions dangereuses des lésions sûres. Son score de synthèse y est de 0,96 contre 0,86 ici, où 1 signifie aucune erreur et 0,5 un tirage au hasard.

Le test n’a pas été relu par des pairs : c’est un billet sur le site du laboratoire. En contrepartie, Lynch a publié tout ce qu’il faut pour le vérifier : les cas, les prompts, chaque réponse des modèles et le code de notation. Il indique que l’analyse et les premières versions ont été produites avec Claude Code, l’outil de programmation d’Anthropic, alors que l’un des modèles testés vient aussi d’Anthropic. Le réseau est en ligne comme démo de recherche et n’est pas un dispositif médical. Lynch avertit lui-même qu’il rate certains cancers de la peau, mélanome compris, et qu’on ne doit pas s’en servir pour décider d’aller ou non chez le médecin.

Les deux modèles de pointe auraient renvoyé chez lui le patient au mélanome sur l’oreille quand on les interrogeait en médecins, avec les deux photos. Dans le rôle de conseillers du patient, ils l’auraient envoyé chez le médecin, comme tout le monde. Le vieux réseau, lui, a bien vu ce mélanome, mais qu’il se taise ou donne l’alerte dépend d’un repère sur son échelle. La question qui compte plus que de savoir quelle IA est la plus intelligente est donc la suivante : qui fixe le repère en dessous duquel la machine se tait, et où ?