Ett neuralt nätverk från 2015 slog GPT-6 och Claude på att upptäcka hudcancer

Melanomet sitter på en patients öra. Det är tunt, men har redan börjat växa ner i huden. Hudläkaren Magnus Lynch visade två bilder av det för två av de mest kapabla AI-modeller som fanns i oktober 2026, GPT-6 Astra och Claude Fable 5.1. Båda gav samma svar: seborroisk keratos, en ofarlig vårtliknande tillväxt, patienten kan skickas hem. Sedan fick samma bilder gå till ett neuralt nätverk som Googles ingenjörer beskrev redan 2015. Det kallade förändringen ett melanom.

Det är inget undantag. I ett test som publicerades den 25 oktober 2026 angav det gamla nätverket Inception v3 rätt diagnos för 125 av 200 hudförändringar, alltså 62 %. Båda de ledande modellerna klarade 42 %. Att finjustera det gamla nätverket på hudbilder tog enligt författaren ungefär tjugo minuter. Det mest intressanta i testet ligger bortom träffsäkerheten: varje maskin gör fel på sitt eget sätt, och det avgör vem som skickas hem med cancer. Det är inte längre en akademisk fråga. I en KFF-undersökning som genomfördes från 24 februari till 2 mars 2026 sa 32 % av de vuxna amerikanerna att de det senaste året hade frågat AI-chattbotar om sin hälsa, och ett foto av en mullvad i en sådan chatt förvånar ingen längre.

Tvåhundra födelsemärken som någon redan skurit bort

Lynch är överläkare i dermatologi och Mohs-kirurg på Guy’s Hospital i London och hedersföreläsare vid King’s College London. Hans forskning rör hudcancer och AI inom dermatologin, så han byggde testet som en kliniker skulle göra. Bilderna kommer från MILK10k, en öppen datamängd som släpptes 2025 genom International Skin Imaging Collaboration (ISIC). Varje förändring i den är fotograferad två gånger: en gång som vanlig närbild och en gång genom ett dermatoskop.

Lynch drog slumpmässigt 200 förändringar. Varje diagnos var bekräftad med histologi, det vill säga att det bortopererade vävnadsprovet hade undersökts i mikroskop. Hundra av förändringarna ska inte avskrivas: 30 melanom, 25 basalcellscancrar, 25 skivepitelcancrar och 20 aktiniska keratoser, skrovliga solskadade fläckar som kan bli cancer. De andra hundra är ofarliga: 50 vanliga födelsemärken och 50 seborroiska keratoser.

Basalcells- och skivepitelcancer är de vanligaste hudcancerformerna och, som Cancer Research UK påpekar, sprider de sig sällan till andra delar av kroppen. Melanomet är den gräns som betyder mest i det här testet. Att missa det är det värsta felet, och därför är det ett mindre ont att förväxla ett melanom med en basalcellscancer: patienten stannar ändå hos läkaren.

Det finns en hake, och författaren påpekar den själv. De ofarliga förändringarna i urvalet hade också skurits bort och skickats till labbet. Om någon bestämde sig för att ta bort ett födelsemärke var det något med det som oroade en kliniker. Testet är alltså fullt av de klurigaste märkena, sådana som får specialister att tveka.

Modellerna fick båda bilderna och ställdes inför en läkares frågor: vilken av sex diagnoser är mest sannolik, hur säkra är de, vad vore andrahandsvalet, och kan patienten skrivas ut utan behandling, biopsi eller uppföljning. Ingen av modellerna vägrade svara i något enda fall.

Nätverket som startade AI-hudläkaren

Inception v3 byggdes inte för medicin. I en artikel från december 2015 presenterade Googles ingenjörer det som ett nätverk för att känna igen vardagliga föremål i foton. Det är ett konvolutionellt neuralt nätverk: det skannar en bild genom små fönster och sätter ihop små detaljer som kanter och fläckar till allt större mönster.

I januari 2017 tog ett team vid Stanford upp det. De finjusterade det på 129 450 hudbilder som täckte 2 032 sjukdomar och rapporterade i Nature att det på biopsiverifierade bilder skilde cancer från ofarliga förändringar lika bra som 21 specialistutbildade hudläkare. Författarna föreslog att ett sådant nätverk i en smartphone kunde föra hudläkarens räckvidd bortom kliniken.

Lynch tog samma arkitektur och finjusterade den på 68 011 bilder från ISIC Archive på ett enda grafikkort. Alla 200 testförändringar, och alla andra foton av samma förändringar eller patienter, tog han i förväg bort ur träningsdatan, så nätverket hade aldrig sett dem. De nyaste språkmodellerna skriver kod, granskar avtal och pratar om precis vad som helst. På att känna igen födelsemärken förlorade de mot en smal specialist från ett decennium tillbaka.

Varje stor modell har ett favoritsvar

Skillnaden är störst på de ofarliga förändringarna. GPT-6 Astra kände igen bara 16 av 50 födelsemärken, Claude Fable 5.1 bara 6 av 50 seborroiska keratoser, medan nätverket fick 37 och 26. Chattbotarna är sämst på att känna igen just det som kan lämnas i fred. Ingen av melanomsiffrorna är imponerande, vilket är en ärlig bild av ett svårt urval.

Värre är att varje språkmodell hade ett favoritsvar. GPT-6 Astra stämplade 75 förändringar som basalcellscancer när urvalet innehöll 25, och 14 av de 30 melanomen hamnade i den högen. Den patienten skulle ändå stanna hos läkaren: melanomet förväxlades med en annan cancer. Den fick däremot alla 25 riktiga basalcellscancrar rätt, en mer än nätverkets 24. Det perfekta resultatet är en bieffekt av vanan: kalla var tredje förändring basalcellscancer så slinker ingen riktig förbi. Claude Fable 5.1 såg aktinisk keratos i 53 fall mot de verkliga 20. På just de keratoserna förlorade det gamla nätverket mot båda modellerna, med 9 av 20 mot 10 och 12. I ett annat exempel förväxlade GPT-6 Astra ett melanom med mycket lite pigment med en basalcellscancer och angav sin säkerhet till 95 %.

Nätverkets melanomfel gick åt andra hållet. Av dess 17 missar kallade det melanomet för ett födelsemärke 8 gånger och för en seborroisk keratos 6 gånger, båda sådant som kan lämnas i fred. Med en sådan diagnos är det lätt att skicka hem en människa.

Allt hänger på tröskeln

Det en läkare ofta behöver är svaret på en enklare fråga än ”vad är det”: skicka hem personen eller inte. Nätverket svarar med ett tal mellan 0 och 1 som visar hur farlig en förändring ser ut. Tröskeln är ett märke på den skalan, över vilket nätverket säger ”låt kolla det”. Sänk märket så får du fler larm. Höj det så skickar nätverket fler människor hem.

Språkmodellerna höll 97 och 96 av de 100 farliga förändringarna under uppsikt. De släppte 3 respektive 4 av de 30 melanomen. Men de släppte också få ofarliga förändringar: 32 och 22 av 100. Alla andra med ett godartat födelsemärke skulle ha skickats på ett onödigt besök eller en onödig biopsi.

Det gamla nätverkets tröskel var satt i förväg på andra bilder och inte anpassad efter just de här 200 fallen. Med den uppförde sig nätverket annorlunda. Det släppte 76 av de 100 ofarliga förändringarna och höll bara 77 av de farliga under uppsikt. Bland dem det släppte fanns 18 av de 30 melanomen. Nätverket avgör om någon ska skrivas ut efter sin egen misstankeskala, oavsett vilken diagnos det anger. Därför släppte det 18 melanom trots att det gjorde fel på melanomdiagnosen i 17 fall.

Anpassa tröskeln till chattbotarnas försiktighet och bilden ändras. Nätverket håller 98 eller 99 av de 100 farliga förändringarna under uppsikt, mot 97 och 96 för språkmodellerna, och släpper ett eller två melanom mot tre och fyra. Vid samma försiktighetsnivå slår det gamla nätverket båda modellerna på båda punkterna. De 18 missade melanomen säger mer om det valda märket. Utvecklarna sätter det, och användaren har inget att säga till om.

Frågan ”borde jag gå till läkaren?”

En vanlig människa frågar annorlunda än en läkare. I samma KFF-undersökning sa 13 % av de vuxna amerikanerna att de hade laddat upp sin egen medicinska information till chattbotar, till exempel provsvar eller läkaranteckningar.

Lynch testade också det scenariot. Han visade modellerna bara det vanliga fotot, utan dermatoskopbilden, och ställde en patients fråga: ”Behöver jag gå till en läkare?” Båda modellerna rådde nästan alltid till läkarbesök, ofarliga förändringar inräknade. På en separat uppsättning med 100 biopsiverifierade melanom skickade de personen till läkare i 99 respektive 98 fall.

För den som fotograferar ett födelsemärke och laddar upp det till ChatGPT eller Claude följer två saker. Chattboten missar sannolikt inte ett melanom. Den friar inte heller ett godartat födelsemärke, så dess ”låt kolla det” säger nästan ingenting. Den beter sig som en brandvarnare som går igång vid varje bränd brödskiva: den sover inte genom en brand, men den kan inte skilja en brand från frukosten.

Vad testet inte bevisar

Lynch räknar själv upp svagheterna. Tvåhundra förändringar räcker för att visa det övergripande mönstret men inte för att rangordna nära resultat. Trettio melanom lämnar en bred osäkerhet kring den siffra som betyder mest. Varje språkmodell såg varje fall en gång, och deras svar varierar från körning till körning. MILK10k har varit öppen sedan 2025, så modellerna kan ha sett den under träningen. Enligt författaren skulle det i så fall snarare ha hjälpt dem.

Inception v3 fungerar som riktmärke i testet. De bästa nuvarande systemen för hudsjukdomar kombinerar flera nätverk av nyare generation och tränas på mer data. Reglerade produkter byggda på dem presterar, säger Lynch, avsevärt bättre. Urvalet var svårt även för det gamla nätverket: på vanliga bilder från ISIC Archive skilde det farliga från ofarliga förändringar mer exakt. Dess sammanfattande poäng där är 0,96 mot 0,86 här, där 1 betyder inga fel och 0,5 betyder gissning.

Testet har inte granskats av oberoende experter: det är ett inlägg på labbets webbplats. I gengäld publicerade Lynch allt som behövs för att kontrollera det: fallen, promptarna, varje modellsvar och poängkoden. Han uppger att analysen och de första utkasten togs fram med Claude Code, Anthropics kodverktyg, medan en av modellerna han testade också kommer från Anthropic. Nätverket finns online som en forskningsdemo och är ingen medicinteknisk produkt. Lynch varnar själv för att det missar vissa hudcancrar, melanom inräknat, och inte får användas för att avgöra om man ska söka läkare.

Båda de ledande modellerna hade skickat hem patienten med melanomet på örat när de tillfrågades som läkare, med båda bilderna. I rollen som patientens rådgivare hade de skickat honom till läkare, som alla andra. Det gamla nätverket såg faktiskt det här melanomet, men om det tiger eller slår larm beror på ett märke på dess skala. Så den fråga som betyder mer än vilken AI som är smartast är den här: vem sätter märket under vilket maskinen tiger, och var?