Una xarxa neuronal del 2015 ha superat GPT-6 i Claude a l’hora de detectar el càncer de pell

El melanoma és a l’orella d’un pacient. És prim, però ja ha començat a endinsar-se en la pell. El dermatòleg Magnus Lynch va ensenyar-ne dues fotos als dos models d’IA més capaços de l’octubre del 2026, GPT-6 Astra i Claude Fable 5.1. Tots dos van donar la mateixa resposta: queratosi seborreica, un creixement berrugós inofensiu, es pot donar d’alta el pacient. Després, les mateixes fotos van anar a una xarxa neuronal que els enginyers de Google havien descrit el 2015. Ella va dir que era un melanoma.

Aquest cas no és cap casualitat. En una prova publicada el 25 d’octubre del 2026 , l’antiga xarxa Inception v3 va encertar el diagnòstic de 125 de 200 lesions, el 62 %. Els dos models punters en van encertar el 42 %. Reentrenar l’antiga xarxa amb imatges de pell va costar, segons l’autor, uns vint minuts. El més interessant de la prova queda més enllà de la puntuació d’encert: cada màquina s’equivoca a la seva manera, i això decideix qui se’n va a casa amb un càncer. Ja no és una qüestió acadèmica. En una enquesta de KFF feta del 24 de febrer al 2 de març del 2026, el 32 % dels adults nord-americans deien que l’any anterior havien consultat xatbots d’IA sobre la seva salut, i una foto d’un lunar en un xat així ja no sorprèn ningú.

Dos-cents lunars que algú ja havia extirpat

Lynch és dermatòleg consultor i cirurgià de Mohs al Guy’s Hospital de Londres i lector honorari al King’s College de Londres. Investiga el càncer de pell i l’ús de la IA en dermatologia, de manera que va muntar la prova com ho faria un clínic. Va agafar les imatges de MILK10k, un conjunt de dades públic aparegut el 2025 de la mà de la International Skin Imaging Collaboration (ISIC). Cada lesió hi és fotografiada dues vegades: una com a primer pla corrent i l’altra a través d’un dermatoscopi.

Lynch va triar 200 lesions a l’atzar. Cada diagnòstic estava confirmat per histologia, és a dir, amb l’examen del teixit extirpat al microscopi. Cent de les lesions no s’haurien de donar d’alta: 30 melanomes, 25 carcinomes basocel·lulars, 25 carcinomes espinocel·lulars i 20 queratosis actíniques, taques rugoses causades pel sol que poden acabar en càncer. Les altres cent són segures: 50 lunars corrents i 50 queratosis seborreiques.

Els carcinomes basocel·lulars i espinocel·lulars són els càncers de pell més freqüents i, com assenyala Cancer Research UK , rarament s’estenen a altres parts del cos. El melanoma és la línia que més compta en aquesta prova. Passar-lo per alt és l’error pitjor, i per això confondre un melanoma amb un carcinoma basocel·lular és el mal menor: el pacient continua en mans del metge.

Hi ha una trampa, i l’autor mateix l’assenyala. Les lesions inofensives del conjunt també van ser extirpades i enviades al laboratori. Si algú va decidir treure un lunar, és que alguna cosa d’aquell lunar va preocupar un clínic. Així que la prova és plena dels lunars més enganyosos, d’aquells que fan dubtar els especialistes.

Els models van rebre les dues fotos i se’ls va preguntar el que preguntaria un metge: quin de sis diagnòstics és el més probable, amb quina seguretat, quina seria la segona opció i si el pacient es podria donar d’alta sense tractament, biòpsia ni seguiment. Cap dels dos models es va negar a respondre un sol cas.

La xarxa que va inaugurar el dermatòleg artificial

Inception v3 no es va crear per a la medicina. En un article del desembre del 2015 , els enginyers de Google la van presentar com una xarxa per reconèixer objectes quotidians en fotos. És una xarxa neuronal convolucional: escaneja la imatge amb finestres petites i va ajuntant detalls menuts, com vores i taques, en patrons cada cop més grans.

Al gener del 2017 la va recollir un equip de Stanford. La van reentrenar amb 129.450 imatges de pell que cobrien 2.032 malalties i van informar a Nature que, en imatges confirmades per biòpsia, distingia el càncer de les lesions inofensives tan bé com 21 dermatòlegs certificats. Els autors van suggerir que una xarxa així en un mòbil podria portar l’abast del dermatòleg més enllà de la consulta.

Lynch va agafar la mateixa arquitectura i la va reentrenar amb 68.011 imatges de l’arxiu ISIC en una sola targeta gràfica. Abans havia tret de les dades d’entrenament les 200 lesions de la prova, i qualsevol altra foto de les mateixes lesions o dels mateixos pacients, de manera que la xarxa no les havia vist mai. Els models de llenguatge més nous escriuen codi, revisen contractes i xerren de qualsevol cosa. A l’hora de reconèixer lunars, els va guanyar un especialista estret de fa deu anys.

Cada gran model té la seva resposta preferida

La distància és màxima en les lesions inofensives. GPT-6 Astra només va reconèixer 16 lunars de 50, Claude Fable 5.1 només 6 queratosis seborreiques de 50, mentre que la xarxa en va encertar 37 i 26. Els xatbots fallen sobretot en allò que es pot deixar estar. Cap de les xifres de melanomes no és per presumir, cosa que reflecteix honestament un conjunt difícil.

Pitjor encara: cada model de llenguatge tenia una resposta preferida. GPT-6 Astra va etiquetar 75 lesions com a carcinoma basocel·lular quan el conjunt en tenia 25, i 14 dels 30 melanomes van anar a parar a aquell munt. Aquest pacient continuaria en mans del metge: el melanoma s’havia pres per un altre càncer. Això sí, va encertar els 25 carcinomes basocel·lulars reals, un més que els 24 de la xarxa. Aquesta puntuació perfecta és un efecte secundari del vici: si dius que una de cada tres lesions és un carcinoma basocel·lular, cap de real et passa pel davant. Claude Fable 5.1 va veure queratosi actínica en 53 casos quan n’hi havia 20 de veritables. En aquestes queratosis, l’antiga xarxa va perdre davant dels dos models, amb 9 de 20 contra 10 i 12. En un altre exemple, GPT-6 Astra va confondre un melanoma amb molt poc pigment amb un carcinoma basocel·lular i va fixar la seva seguretat en un 95 %.

Els errors de la xarxa amb els melanomes anaven en sentit contrari. De les seves 17 fallades, va dir que el melanoma era un lunar 8 vegades i una queratosi seborreica 6 vegades, dues coses que es poden deixar estar. Amb un diagnòstic així, és fàcil enviar una persona a casa.

Tot depèn del llindar

Allò que sovint necessita un metge és la resposta a una pregunta més simple que «què és»: enviar la persona a casa o no. La xarxa hi respon amb un número del 0 a l'1 que indica com de perillosa sembla una lesió. El llindar és una marca en aquesta escala per sobre de la qual la xarxa diu «feu-vos-ho mirar». Si abaixes la marca, hi ha més alarmes. Si la puges, la xarxa envia més gent a casa.

Els models de llenguatge van mantenir sota vigilància 97 i 96 de les 100 lesions perilloses. Van donar d’alta 3 i 4 dels 30 melanomes. Però també van deixar anar poques lesions inofensives: 32 i 22 de 100. Tots els altres que tenien un lunar benigne haurien acabat en una visita o una biòpsia innecessàries.

El llindar de l’antiga xarxa es va fixar abans amb altres imatges i no es va ajustar a aquests 200 casos. Amb ell, la xarxa es va comportar de manera diferent. Va donar d’alta 76 de les 100 lesions inofensives i només en va mantenir 77 de les perilloses. Entre les que va deixar anar hi havia 18 dels 30 melanomes. La xarxa decideix si dona d’alta segons la seva pròpia escala de sospita, sigui quin sigui el diagnòstic que anomena. Per això va deixar anar 18 melanomes tot i haver errat el diagnòstic de melanoma en 17 casos.

Ajusteu el llindar a la cautela dels xatbots i el quadre canvia. La xarxa manté 98 o 99 de les 100 lesions perilloses, contra 97 i 96 dels models de llenguatge, i dona d’alta un o dos melanomes contra tres i quatre. Amb el mateix nivell de cautela, l’antiga xarxa guanya els dos models en tots dos aspectes. Els 18 melanomes perduts diuen més de la marca triada. La fixen els desenvolupadors, i l’usuari no hi té res a dir.

La pregunta «m’he de mirar amb un metge?»

Una persona corrent pregunta diferent que un metge. En la mateixa enquesta de KFF, el 13 % dels adults nord-americans deien que havien pujat a xatbots informació mèdica pròpia, com ara resultats d’anàlisis o notes del metge.

Lynch també va provar aquest escenari. Als models només els va ensenyar la foto corrent, sense la imatge del dermatoscopi, i va fer la pregunta d’un pacient: «He d’anar al metge?». Tots dos models van aconsellar anar al metge gairebé sempre, també per a les lesions inofensives. En un conjunt a part de 100 melanomes confirmats per biòpsia, van enviar la persona al metge en 99 i 98 casos.

Per a qui fotografia un lunar i el puja a ChatGPT o a Claude , en deriven dues coses. Probablement el xatbot no es deixarà escapar un melanoma. Però tampoc no donarà per bo un lunar benigne, de manera que el seu «feu-vos-ho mirar» gairebé no diu res. Es comporta com una alarma de fums que salta amb cada torrada cremada: no dormirà durant un incendi, però no sap distingir un foc d’un esmorzar.

Què no demostra aquesta prova

Lynch enumera ell mateix els punts febles. Dues-centes lesions basten per mostrar el patró general, però no per ordenar resultats propers. Trenta melanomes deixen molta incertesa en la xifra que més importa. Cada model de llenguatge va veure cada cas una sola vegada, i les seves respostes canvien d’una execució a l’altra. MILK10k és públic des del 2025, de manera que els models potser el van veure en l’entrenament. Segons l’autor, això, si de cas, els hauria ajudat.

Inception v3 fa de referència a la prova. Els millors sistemes actuals de diagnòstic de la pell combinen diverses xarxes de generacions més noves i s’entrenen amb més dades. Els productes regulats basats en ells, diu Lynch, funcionen considerablement millor. El conjunt va ser difícil també per a l’antiga xarxa: en imatges corrents de l’arxiu ISIC separava les lesions perilloses de les segures amb més precisió. La seva puntuació de resum hi és de 0,96 contra 0,86 aquí, on 1 vol dir cap error i 0,5 vol dir endevinar.

La prova no ha passat per revisió per parells: és una publicació al web del laboratori. A canvi, Lynch ha publicat tot el necessari per comprovar-la: els casos, les instruccions, cada resposta dels models i el codi de puntuació. Declara que l’anàlisi i els primers esborranys es van fer amb Claude Code, l’eina de programació d’Anthropic, mentre que un dels models que va provar també és d’Anthropic. La xarxa és en línia com a demostració de recerca i no és un producte sanitari. El mateix Lynch avisa que se li escapen alguns càncers de pell, melanoma inclòs, i que no s’ha d’usar per decidir si cal anar al metge.

Si els haguessin preguntat com un metge, amb les dues fotos, tots dos models punters haurien enviat a casa el pacient amb el melanoma a l’orella. Fent d’assessors del pacient, l’haurien enviat al metge, com tothom. L’antiga xarxa sí que va veure aquest melanoma, però que calli o que doni l’alarma depèn d’una marca en la seva escala. Així que la pregunta que importa més que quina IA és més llesta és aquesta: qui fixa la marca per sota de la qual la màquina calla, i on?