Een neuraal netwerk uit 2015 verslaat GPT-6 en Claude bij het herkennen van huidkanker

Het melanoom zit op het oor van een patiënt. Het is dun, maar groeit al de huid in. Dermatoloog Magnus Lynch legde twee foto’s ervan voor aan twee van de krachtigste AI-modellen die er in oktober 2026 bestaan: GPT-6 Astra en Claude Fable 5.1. Beide gaven hetzelfde antwoord: seborroïsche keratose, een onschuldig wratachtig gezwel, de patiënt kan naar huis. Daarna gingen dezelfde foto’s naar een neuraal netwerk dat Google-ingenieurs al in 2015 hadden beschreven. Dat netwerk noemde de afwijking een melanoom.

Dit geval is geen toeval. In een test die op 25 oktober 2026 verscheen stelde het oude netwerk Inception v3 bij 125 van de 200 huidafwijkingen de juiste diagnose, oftewel 62%. Beide topmodellen kwamen op 42%. Het bijtrainen van het oude netwerk op huidfoto’s kostte volgens de auteur zo’n twintig minuten. Het interessantste deel van de test ligt voorbij de nauwkeurigheidsscore: elke machine maakt op zijn eigen manier fouten, en dat bepaalt wie met kanker naar huis wordt gestuurd. Dat is geen academische kwestie meer. In een KFF-peiling van 24 februari tot 2 maart 2026 zei 32% van de Amerikaanse volwassenen het afgelopen jaar AI-chatbots om gezondheidsadvies te hebben gevraagd, en een foto van een moedervlek in zo’n chat verbaast niemand meer.

Tweehonderd moedervlekken die al iemand had weggesneden

Lynch is dermatoloog-consulent en Mohs-chirurg in Guy’s Hospital in Londen en honorary reader aan King’s College London. Hij doet onderzoek naar huidkanker en het gebruik van AI in de dermatologie, en bouwde de test daarom op zoals een clinicus dat zou doen. De beelden komen uit MILK10k, een openbare dataset die in 2025 is uitgebracht via de International Skin Imaging Collaboration (ISIC). Elke afwijking is er twee keer op vastgelegd: één keer als gewone close-up en één keer door een dermatoscoop.

Lynch trok willekeurig 200 afwijkingen. Elke diagnose was bevestigd met histologie, dat wil zeggen: het weggenomen weefsel was onder de microscoop onderzocht. Honderd van de afwijkingen mogen niet zomaar worden afgevoerd: 30 melanomen, 25 basaalcelcarcinomen, 25 plaveiselcelcarcinomen en 20 actinische keratosen, ruwe, door de zon beschadigde plekken die in kanker kunnen overgaan. De andere honderd zijn veilig: 50 gewone moedervlekken en 50 seborroïsche keratosen.

Basaalcel- en plaveiselcelcarcinomen zijn de meest voorkomende vormen van huidkanker en verspreiden zich, zoals Cancer Research UK schrijft, zelden naar andere delen van het lichaam. Het melanoom is in deze test de grens die het zwaarst weegt. Het te missen is de ergste fout, en daarom is een melanoom voor een basaalcelcarcinoom aanzien het kleinere kwaad: de patiënt blijft dan nog bij de arts.

Er is een addertje, en de auteur wijst er zelf op. De onschuldige afwijkingen in de set zijn ook weggesneden en naar het lab gestuurd. Als iemand besloot een moedervlek te verwijderen, baarde die een clinicus zorgen. De test zit dus vol met de lastigste moedervlekken, het soort waar specialisten even van gaan twijfelen.

De modellen kregen beide foto’s en kregen de vragen voorgelegd die een arts zou stellen: welke van zes diagnoses is het waarschijnlijkst, hoe zeker is het model, wat zou de tweede keuze zijn, en kan de patiënt zonder behandeling, biopsie of controle naar huis? Geen van beide modellen weigerde ook maar één casus.

Het netwerk waarmee de AI-dermatoloog begon

Inception v3 is niet voor de geneeskunde gebouwd. In een artikel van december 2015 presenteerden Google-ingenieurs het als een netwerk voor het herkennen van alledaagse voorwerpen op foto’s. Het is een convolutioneel neuraal netwerk: het scant een beeld door kleine vensters en zet kleine details zoals randen en vlekjes samen tot steeds grotere patronen.

In januari 2017 pakte een team van Stanford het op. Ze trainden het bij op 129.450 huidbeelden met 2.032 ziekten en meldden in Nature dat het op beelden met biopsiebevestiging kanker net zo goed van onschuldige afwijkingen onderscheidde als 21 gecertificeerde dermatologen. De auteurs opperden dat zo’n netwerk op een smartphone het bereik van de dermatoloog tot buiten de kliniek zou kunnen uitbreiden.

Lynch nam dezelfde architectuur en trainde haar bij op 68.011 beelden uit het ISIC Archive , op één enkele videokaart. Alle 200 testafwijkingen, en elke andere foto van dezelfde afwijkingen of patiënten, haalde hij vooraf uit de trainingsdata, zodat het netwerk ze nog nooit had gezien. De nieuwste taalmodellen schrijven code, doorlichten contracten en kletsen over van alles. Bij het herkennen van moedervlekken verloren ze van een smalle specialist van tien jaar geleden.

Elk groot model heeft een lievelingsantwoord

Het verschil is het grootst bij de onschuldige afwijkingen. GPT-6 Astra herkende maar 16 van de 50 moedervlekken, Claude Fable 5.1 maar 6 van de 50 seborroïsche keratosen, terwijl het netwerk er 37 en 26 haalde. De chatbots zijn het slechtst in het herkennen van precies datgene wat met rust kan worden gelaten. Geen van de melanoomcijfers is indrukwekkend, wat een eerlijk beeld geeft van een lastige set.

Erger nog: elk taalmodel had een lievelingsantwoord. GPT-6 Astra bestempelde 75 afwijkingen als basaalcelcarcinoom, terwijl er in de set 25 zaten, en 14 van de 30 melanomen belandden op die hoop. Die patiënt zou nog bij de arts blijven: het melanoom werd voor een andere kanker aangezien. Alle 25 echte basaalcelcarcinomen had het model wel goed, één meer dan de 24 van het netwerk. Die perfecte score is een bijwerking van de gewoonte: noem elke derde afwijking een basaalcelcarcinoom en er glipt er geen echte door. Claude Fable 5.1 zag in 53 gevallen actinische keratose, terwijl het er echt 20 waren. Bij die keratosen verloor het oude netwerk van beide modellen, met 9 van 20 tegen 10 en 12. In een ander voorbeeld nam GPT-6 Astra een melanoom met heel weinig pigment voor een basaalcelcarcinoom en gaf het zichzelf 95% zekerheid.

De melanoomfouten van het netwerk gingen de andere kant op. Van de 17 missers noemde het het melanoom 8 keer een moedervlek en 6 keer een seborroïsche keratose, allebei dingen die met rust kunnen worden gelaten. Met zo’n diagnose is iemand gemakkelijk naar huis te sturen.

Alles draait om de drempel

Wat een arts vaak nodig heeft, is het antwoord op een simpelere vraag dan “wat is het”: de persoon naar huis sturen of niet. Het netwerk beantwoordt die met een getal van 0 tot 1, dat aangeeft hoe gevaarlijk een afwijking eruitziet. De drempel is een streepje op die schaal waarboven het netwerk zegt: “laat het nakijken”. Zet je het streepje lager, dan krijg je meer alarmen. Zet je het hoger, dan stuurt het netwerk meer mensen naar huis.

De taalmodellen hielden 97 en 96 van de 100 gevaarlijke afwijkingen in het oog. Ze lieten 3 en 4 van de 30 melanomen gaan. Maar ze lieten ook weinig onschuldige afwijkingen gaan: 32 en 22 van de 100. Iedereen met een goedaardige moedervlek zou voor een onnodige afspraak of biopsie zijn doorgestuurd.

De drempel van het oude netwerk was vooraf vastgesteld op andere beelden en niet afgestemd op deze 200 gevallen. Daarmee gedroeg het netwerk zich anders. Het liet 76 van de 100 onschuldige afwijkingen gaan en hield maar 77 van de gevaarlijke vast. Onder degene die het liet gaan waren 18 van de 30 melanomen. Het netwerk beslist op zijn eigen verdachtheidsschaal of het iemand laat gaan, welke diagnose het ook noemt. Daarom liet het 18 melanomen gaan, hoewel het de melanoomdiagnose in 17 gevallen niet goed had.

Stem de drempel af op de voorzichtigheid van de chatbots en het beeld verandert. Het netwerk houdt dan 98 of 99 van de 100 gevaarlijke afwijkingen vast, tegen 97 en 96 bij de taalmodellen, en laat één of twee melanomen gaan tegen drie en vier. Bij gelijke voorzichtigheid verslaat het oude netwerk beide modellen op beide punten. De 18 gemiste melanomen zeggen meer over het gekozen streepje. De ontwikkelaars leggen het vast, en de gebruiker heeft er niets over te zeggen.

De vraag “moet ik naar de dokter?”

Een gewoon mens vraagt anders dan een arts. In dezelfde KFF-peiling zei 13% van de Amerikaanse volwassenen eigen medische gegevens, zoals testuitslagen of notities van artsen, naar chatbots te hebben geüpload.

Lynch testte ook dat scenario. Hij liet de modellen alleen de gewone foto zien, zonder het dermatoscoopbeeld, en stelde een patiëntenvraag: “Moet ik naar de dokter?” Beide modellen adviseerden bijna altijd een arts te bezoeken, onschuldige afwijkingen incluis. Op een aparte set van 100 melanomen met biopsiebevestiging stuurden ze de persoon in 99 en 98 gevallen naar een arts.

Wie een moedervlek fotografeert en uploadt naar ChatGPT of Claude , kan hier twee dingen uit afleiden. De chatbot mist waarschijnlijk geen melanoom. Maar hij spreekt ook een goedaardige moedervlek niet vrij, dus zijn “laat het nakijken” zegt bijna niets. Hij gedraagt zich als een rookmelder die afgaat bij elke aangebrande boterham: hij slaapt niet door een brand heen, maar kan een brand niet van een ontbijt onderscheiden.

Wat deze test niet bewijst

Lynch noemt de zwakke punten zelf. Tweehonderd afwijkingen volstaan om het algemene patroon te tonen, maar niet om nauwe resultaten te rangschikken. Dertig melanomen laten een grote onzekerheid achter rond het cijfer dat het zwaarst weegt. Elk taalmodel zag elke casus één keer, en hun antwoorden verschillen van run tot run. MILK10k is sinds 2025 openbaar, dus de modellen kunnen het tijdens hun training hebben gezien. Volgens de auteur zou dat hen eerder geholpen hebben.

Inception v3 dient in de test als referentiepunt. De beste huidige systemen voor huiddiagnose combineren meerdere netwerken van nieuwere generaties en trainen op meer data. Gereguleerde producten die erop gebouwd zijn, presteren volgens Lynch aanzienlijk beter. De set was ook voor het oude netwerk moeilijk: op gewone ISIC Archive-beelden scheidde het gevaarlijke van veilige afwijkingen nauwkeuriger. De samenvattende score is daar 0,96 tegen 0,86 hier, waarbij 1 geen fouten betekent en 0,5 gokken.

De test is niet peer-reviewed: het is een bericht op de website van het lab. In ruil daarvoor publiceerde Lynch alles wat nodig is om hem te controleren: de casussen, de prompts, elk antwoord van de modellen en de scorecode. Hij meldt dat de analyse en de eerste versies met Claude Code zijn gemaakt, het programmeertool van Anthropic, terwijl een van de geteste modellen ook van Anthropic komt. Het netwerk staat online als onderzoeksdemo en is geen medisch hulpmiddel. Lynch waarschuwt zelf dat het sommige huidkankers mist, melanoom incluis, en niet gebruikt mag worden om te beslissen of je naar een arts gaat.

Beide topmodellen hadden de patiënt met het melanoom op het oor naar huis gestuurd als ze als arts met beide foto’s waren bevraagd. Als adviseur van de patiënt hadden ze hem, net als iedereen, naar de dokter gestuurd. Het oude netwerk zag dit melanoom wel, maar of het zwijgt of alarm slaat, hangt af van een streepje op zijn schaal. De vraag die meer telt dan welke AI slimmer is, luidt dus: wie bepaalt het streepje waaronder de machine zwijgt, en waar?