Et nevralt nettverk fra 2015 slo GPT-6 og Claude i å oppdage hudkreft

Melanomet sitter på øret til en pasient. Det er tynt, men har allerede begynt å vokse nedover i huden. Hudlegen Magnus Lynch viste to bilder av det til to av de mest kapable AI-modellene som fantes i oktober 2026, GPT-6 Astra og Claude Fable 5.1. Begge ga samme svar: seboreisk keratose, en ufarlig vortelignende utvekst, pasienten kan sendes hjem. Så ble de samme bildene lagt fram for et nevralt nettverk som Googles ingeniører beskrev allerede i 2015. Det kalte forandringen et melanom.

Det er ikke noe unntak. I en test publisert 25. oktober 2026 ga det gamle nettverket Inception v3 riktig diagnose for 125 av 200 hudforandringer, altså 62 %. Begge de ledende modellene klarte 42 %. Å finjustere det gamle nettverket på hudbilder tok, ifølge forfatteren, omtrent tjue minutter. Det mest interessante i testen ligger bak treffprosenten: hver maskin feiler på sin måte, og det avgjør hvem som sendes hjem med kreft. Dette er ikke lenger et akademisk spørsmål. I en KFF-måling gjennomført fra 24. februar til 2. mars 2026 sa 32 % av voksne amerikanere at de hadde spurt AI-chatboter om helsen det siste året, og et bilde av en føflekk i en slik chat overrasker ingen lenger.

To hundre føflekker som noen allerede hadde skåret ut

Lynch er overlege i dermatologi og Mohs-kirurg ved Guy’s Hospital i London og æresforsker (honorary reader) ved King’s College London. Forskningen hans dreier seg om hudkreft og bruk av AI i dermatologi, så han bygde testen slik en kliniker ville gjort. Han hentet bildene fra MILK10k, et åpent datasett som ble utgitt i 2025 gjennom International Skin Imaging Collaboration (ISIC). Hver hudforandring i det er fotografert to ganger: én gang som vanlig nærbilde og én gang gjennom et dermatoskop.

Lynch trakk tilfeldig ut 200 hudforandringer. Hver diagnose var bekreftet med histologi, det vil si at det fjernede vevet var undersøkt under mikroskop. Hundre av forandringene skal ikke avskrives: 30 melanomer, 25 basalcellekarsinomer, 25 plateepitelkarsinomer og 20 aktiniske keratoser, ru, solskadde flekker som kan utvikle seg til kreft. De andre hundre er ufarlige: 50 vanlige føflekker og 50 seboreiske keratoser.

Basalcelle- og plateepitelkarsinom er de vanligste formene for hudkreft, og som Cancer Research UK påpeker, sprer de seg sjelden til andre deler av kroppen. Melanom er den grensen som betyr mest i denne testen. Å overse det er den verste feilen, og derfor er det en mindre ulykke å ta et melanom for et basalcellekarsinom: pasienten blir i hvert fall værende hos legen.

Det finnes en hake, og forfatteren peker selv på den. De ufarlige forandringene i settet ble også skåret ut og sendt til laboratoriet. Hvis noen bestemte seg for å fjerne en føflekk, var det noe ved den som bekymret en kliniker. Testen er altså full av de vanskeligste føflekkene, de som får spesialister til å nøle.

Modellene fikk begge bildene og ble spurt om det en lege ville spurt om: hvilken av seks diagnoser er mest sannsynlig, hvor sikre er de, hva ville andrevalget vært, og kan pasienten skrives ut uten behandling, biopsi eller oppfølging. Ingen av modellene nektet å svare i noe tilfelle.

Nettverket som startet AI-hudlegen

Inception v3 ble ikke laget for medisin. I en artikkel fra desember 2015 presenterte Googles ingeniører det som et nettverk for å kjenne igjen hverdagslige objekter på bilder. Det er et konvolusjonelt nevralt nettverk: det skanner et bilde gjennom små vinduer og setter små detaljer som kanter og flekker sammen til stadig større mønstre.

I januar 2017 tok et team ved Stanford det i bruk. De finjusterte det på 129 450 hudbilder fordelt på 2 032 sykdommer og rapporterte i Nature at det på biopsibekreftede bilder skilte kreft fra ufarlige forandringer like godt som 21 spesialistgodkjente hudleger. Forfatterne mente at et slikt nettverk på en smarttelefon kunne bringe hudlegens kompetanse utenfor klinikken.

Lynch tok den samme arkitekturen og finjusterte den på 68 011 bilder fra ISIC Archive på ett enkelt grafikkort. Han tok på forhånd bort alle 200 testforandringene, og alle andre bilder av de samme forandringene eller pasientene, fra treningsdataene, så nettverket hadde aldri sett dem. De nyeste språkmodellene skriver kode, gjennomgår kontrakter og prater om hva som helst. I å kjenne igjen føflekker tapte de mot en smal spesialist fra et tiår tilbake.

Hver stor modell har et yndlingssvar

Forskjellen er størst på de ufarlige forandringene. GPT-6 Astra kjente bare igjen 16 av 50 føflekker, Claude Fable 5.1 bare 6 av 50 seboreiske keratoser, mens nettverket traff 37 og 26. Chatbotene er dårligst på nettopp det som kan la være å behandle. Ingen av melanomtallene er imponerende, og det er et ærlig bilde av et vanskelig sett.

Verre er det at hver språkmodell hadde et yndlingssvar. GPT-6 Astra stemplet 75 forandringer som basalcellekarsinom da settet hadde 25, og 14 av de 30 melanomene havnet i den bunken. Den pasienten ville likevel blitt værende hos legen: melanomet ble tatt for en annen kreftform. Modellen fikk riktig alle de 25 ekte basalcellekarsinomene, ett mer enn nettverkets 24. Det fullkomne resultatet er en bieffekt av vanen: kall hver tredje forandring et basalcellekarsinom, og ingen ekte slipper forbi. Claude Fable 5.1 så aktinisk keratose i 53 tilfeller mot de reelle 20. På disse keratosene tapte det gamle nettverket for begge modellene, med 9 av 20 mot 10 og 12. I et annet eksempel tok GPT-6 Astra et melanom med svært lite pigment for et basalcellekarsinom og oppga 95 % sikkerhet.

Nettverkets melanomfeil gikk i motsatt retning. Av de 17 bommene kalte det melanomet en føflekk 8 ganger og en seboreisk keratose 6 ganger, begge deler som kan la være å behandle. Med en slik diagnose er det lett å sende et menneske hjem.

Alt avhenger av terskelen

Det legen ofte trenger, er svaret på et enklere spørsmål enn «hva er det»: sende personen hjem eller ikke. Nettverket svarer med et tall fra 0 til 1 som viser hvor farlig en forandring ser ut. Terskelen er et merke på den skalaen, og over det sier nettverket «få det sjekket». Senk merket og du får flere alarmer. Hev det og nettverket sender flere hjem.

Språkmodellene holdt 97 og 96 av de 100 farlige forandringene under oppsyn. De avskrev 3 og 4 av de 30 melanomene. Men de lot også få ufarlige forandringer gå: 32 og 22 av 100. Alle andre med en godartet føflekk ville blitt sendt til en unødvendig time eller biopsi.

Terskelen til det gamle nettverket ble satt på forhånd på andre bilder og ikke justert til disse 200 tilfellene. Med den oppførte nettverket seg annerledes. Det avskrev 76 av de 100 ufarlige forandringene og holdt bare 77 av de farlige under oppsyn. Blant dem det lot gå, var 18 av de 30 melanomene. Nettverket avgjør om en pasient skal avskrives ut fra sin egen mistenksomhetsskala, uansett hvilken diagnose det navngir. Derfor lot det 18 melanomer gå selv om det ga feil melanomdiagnose i 17 tilfeller.

Sett terskelen på samme forsiktighetsnivå som chatbotene, og bildet endrer seg. Nettverket holder 98 eller 99 av de 100 farlige forandringene under oppsyn, mot 97 og 96 for språkmodellene, og avskriver ett eller to melanomer mot tre og fire. Ved samme forsiktighetsnivå slår det gamle nettverket begge modellene på begge punkter. De 18 oversette melanomene sier mer om det valgte merket. Utviklerne satte det, og brukeren har ingen innflytelse på det.

Spørsmålet «bør jeg til lege?»

Et vanlig menneske spør annerledes enn en lege. I den samme KFF-målingen sa 13 % av voksne amerikanere at de hadde lastet opp egen medisinsk informasjon til chatboter, for eksempel prøvesvar eller legenotater.

Lynch testet også det scenariet. Han viste modellene bare det vanlige bildet, uten dermatoskopbildet, og stilte et pasientspørsmål: «Må jeg til lege?» Begge modellene rådet til å gå til lege nesten hver gang, de ufarlige forandringene inkludert. På et eget sett med 100 biopsibekreftede melanomer sendte de personen til lege i 99 og 98 tilfeller.

For den som fotograferer en føflekk og laster den opp til ChatGPT eller Claude , følger to ting. Chatboten overser trolig ikke et melanom. Den frikjenner heller ikke en godartet føflekk, så dens «få det sjekket» sier nesten ingenting. Den oppfører seg som en røykvarsler som går av for hver brente brødskive: den sover ikke gjennom en brann, men kan ikke skille brann fra frokost.

Hva denne testen ikke beviser

Lynch lister selv opp svakhetene. To hundre hudforandringer holder for å vise det overordnede mønsteret, men ikke for å rangere tette resultater. Tretti melanomer gir stor usikkerhet på tallet som betyr mest. Hver språkmodell så hvert tilfelle én gang, og svarene deres varierer fra kjøring til kjøring. MILK10k har vært offentlig siden 2025, så modellene kan ha sett det under trening. Etter forfatterens syn ville det i så fall ha hjulpet dem, om noe.

Inception v3 fungerer som utgangspunkt i testen. De beste dagens systemer for hudkreftdiagnostikk kombinerer flere nyere nettverk og trenes på mer data. Regulerte produkter bygget på dem, sier Lynch, presterer vesentlig bedre. Settet var vanskelig også for det gamle nettverket: på vanlige bilder fra ISIC Archive skilte det farlige fra ufarlige forandringer mer nøyaktig. Samleskåren der er 0,96 mot 0,86 her, der 1 betyr ingen feil og 0,5 betyr gjetting.

Testen er ikke fagfellevurdert: den er et innlegg på laboratoriets nettsted. Til gjengjeld publiserte Lynch alt som trengs for å kontrollere den: tilfellene, promptene, hvert modellsvar og skåringskoden. Han opplyser at analysen og de første utkastene ble laget med Claude Code, Anthropics kodeverktøy, mens en av modellene han testet også kommer fra Anthropic. Nettverket ligger på nett som en forskningsdemo og er ikke medisinsk utstyr. Lynch advarer selv om at det overser noen hudkrefttilfeller, melanom inkludert, og ikke må brukes til å avgjøre om man skal til lege.

Begge de ledende modellene ville sendt pasienten med melanomet på øret hjem hvis de ble spurt som en lege, med begge bildene. I rollen som pasientens rådgiver ville de sendt ham til lege, som alle andre. Det gamle nettverket så dette melanomet, men om det tier eller slår alarm, avhenger av et merke på skalaen. Så spørsmålet som betyr mer enn hvilken AI som er smartest, er dette: hvem setter merket under som maskinen tier, og hvor?