Rangkaian neural 2015 kalahkan GPT-6 dan Claude dalam mengesan barah kulit

Melanoma itu terletak pada telinga seorang pesakit. Ia nipis, tetapi sudah mula menjalar ke dalam kulit. Pakar dermatologi Magnus Lynch menunjukkan dua keping fotonya kepada dua model AI paling berkebolehan pada Oktober 2026, GPT-6 Astra dan Claude Fable 5.1. Kedua-duanya memberi jawapan yang sama: keratosis seboroik, ketumbuhan berkutil yang tidak berbahaya, selamat untuk dibenarkan pulang. Kemudian foto yang sama dihantar kepada rangkaian neural yang diperihalkan jurutera Google pada 2015. Rangkaian itu menyebutnya melanoma.

Kes itu bukan kebetulan. Dalam ujian yang diterbitkan pada 25 Oktober 2026 , rangkaian lama Inception v3 menamakan diagnosis yang betul bagi 125 daripada 200 lesi, iaitu 62%. Kedua-dua model terkini hanya mencapai 42%. Menurut pengarangnya, melatih semula rangkaian lama itu dengan imej kulit mengambil kira-kira dua puluh minit. Bahagian ujian yang lebih menarik terletak di luar skor ketepatan: setiap mesin gagal dengan caranya sendiri, dan itulah yang menentukan siapa dihantar pulang dengan barah. Ini bukan lagi soalan akademik. Dalam tinjauan KFF yang dijalankan dari 24 Februari hingga 2 Mac 2026, 32% orang dewasa Amerika berkata mereka pernah bertanya chatbot AI tentang kesihatan dalam tempoh setahun lalu, dan foto tahi lalat dalam sembang sebegitu kini tidak mengejutkan sesiapa.

Dua ratus tahi lalat yang sudah dibuang orang

Lynch ialah pakar runding dermatologi dan pakar bedah Mohs di Hospital Guy’s, London, serta pembaca kehormat di King’s College London. Kajiannya meliputi barah kulit dan penggunaan AI dalam dermatologi, justeru dia membina ujian ini seperti seorang doktor. Imej diambil daripada MILK10k, set data awam yang dikeluarkan pada 2025 melalui International Skin Imaging Collaboration (ISIC). Setiap lesi di dalamnya difoto dua kali: sekali sebagai gambar jarak dekat biasa dan sekali melalui dermatoskop.

Lynch memilih 200 lesi secara rawak. Setiap diagnosis disahkan melalui histologi, iaitu tisu yang dibuang diperiksa di bawah mikroskop. Seratus lesi tidak patut dibenarkan pulang: 30 melanoma, 25 karsinoma sel basal, 25 karsinoma sel skuamus dan 20 keratosis aktinik, tompok kasar akibat kerosakan matahari yang boleh menjadi barah. Seratus lagi selamat: 50 tahi lalat biasa dan 50 keratosis seboroik.

Karsinoma sel basal dan sel skuamus ialah barah kulit yang paling lazim dan, seperti yang dinyatakan Cancer Research UK , jarang merebak ke bahagian badan yang lain. Melanoma ialah garis yang paling penting dalam ujian ini. Terlepas pandang melanoma ialah kesilapan paling teruk, sebab itu tersilap menyangka melanoma sebagai karsinoma sel basal adalah keburukan yang lebih kecil: pesakit tetap berada di bawah jagaan doktor.

Ada satu kekangan, dan pengarangnya sendiri menyebutnya. Lesi yang tidak berbahaya dalam set itu juga telah dibuang dan dihantar ke makmal. Jika seseorang memutuskan untuk membuang sesuatu tahi lalat, ada sesuatu padanya yang membimbangkan doktor. Maka ujian ini penuh dengan tahi lalat yang paling mengelirukan, jenis yang membuat pakar teragak-agak.

Model-model itu menerima kedua-dua foto dan ditanya soalan yang akan ditanya doktor: antara enam diagnosis, yang manakah paling mungkin, setinggi mana keyakinan mereka, apakah pilihan kedua, dan sama ada pesakit boleh dibenarkan pulang tanpa rawatan, biopsi atau susulan. Tiada model yang menolak walau satu kes pun.

Rangkaian yang memulakan era pakar kulit AI

Inception v3 tidak dibina untuk perubatan. Dalam kertas Disember 2015 , jurutera Google memperkenalkannya sebagai rangkaian untuk mengecam objek harian dalam foto. Ia rangkaian neural konvolusi: ia mengimbas imej melalui tetingkap kecil dan menyusun butiran kecil seperti tepi dan tompok menjadi corak yang semakin besar.

Pada Januari 2017 sepasukan dari Stanford mengambilnya. Mereka melatihnya semula dengan 129,450 imej kulit yang merangkumi 2,032 penyakit dan melaporkan dalam Nature bahawa pada imej yang disahkan melalui biopsi, rangkaian itu membezakan barah daripada lesi tidak berbahaya sebaik 21 pakar dermatologi bertauliah. Para pengarang mencadangkan bahawa rangkaian sebegitu pada telefon pintar boleh membawa kepakaran pakar kulit ke luar klinik.

Lynch mengambil seni bina yang sama dan melatihnya semula dengan 68,011 imej daripada Arkib ISIC pada satu kad grafik. Dia mengeluarkan kesemua 200 lesi ujian, dan setiap foto lain bagi lesi atau pesakit yang sama, daripada data latihan terlebih dahulu, jadi rangkaian itu tidak pernah melihatnya. Model bahasa terbaharu menulis kod, menyemak kontrak dan berbual tentang apa sahaja. Dalam mengenal pasti tahi lalat, mereka tewas kepada pakar sempit dari sedekad lalu.

Setiap model besar ada jawapan kegemaran

Jurangnya paling lebar pada lesi yang tidak berbahaya. GPT-6 Astra hanya mengecam 16 daripada 50 tahi lalat, Claude Fable 5.1 hanya 6 daripada 50 keratosis seboroik, sedangkan rangkaian itu mendapat 37 dan 26. Chatbot paling lemah mengecam tepat apa yang boleh dibiarkan. Tiada angka melanoma yang mengagumkan, dan itu gambaran jujur tentang set yang sukar.

Lebih buruk, setiap model bahasa ada jawapan kegemaran. GPT-6 Astra melabel 75 lesi sebagai karsinoma sel basal sedangkan set itu mengandungi 25, dan 14 daripada 30 melanoma terperangkap dalam longgokan itu. Pesakit itu tetap berada di bawah jagaan doktor: melanoma disangka barah lain. Ia memang betul bagi kesemua 25 karsinoma sel basal sebenar, satu lebih banyak daripada 24 milik rangkaian itu. Skor sempurna itu kesan sampingan tabiat tersebut: panggil setiap lesi ketiga karsinoma sel basal dan tiada yang sebenar terlepas. Claude Fable 5.1 nampak keratosis aktinik dalam 53 kes berbanding 20 yang sebenar. Pada keratosis itu, rangkaian lama kalah kepada kedua-dua model, dengan 9 daripada 20 berbanding 10 dan 12. Dalam satu lagi contoh, GPT-6 Astra tersilap menyangka melanoma yang sangat sedikit pigmennya sebagai karsinoma sel basal dan meletakkan keyakinannya pada 95%.

Kesilapan melanoma rangkaian itu pula menuju arah bertentangan. Daripada 17 yang terlepas, ia menyebut melanoma itu tahi lalat sebanyak 8 kali dan keratosis seboroik sebanyak 6 kali, kedua-duanya perkara yang boleh dibiarkan. Dengan diagnosis begitu, seseorang mudah dihantar pulang.

Semuanya bergantung pada ambang

Apa yang kerap diperlukan doktor ialah jawapan kepada soalan yang lebih mudah daripada “apakah ini”: hantar orang itu pulang atau tidak. Rangkaian itu menjawabnya dengan nombor dari 0 hingga 1, yang menunjukkan setakat mana sesuatu lesi kelihatan berbahaya. Ambang ialah tanda pada skala itu; di atasnya rangkaian berkata “pergi periksa”. Turunkan tanda itu dan anda mendapat lebih banyak penggera. Naikkannya dan rangkaian menghantar lebih ramai orang pulang.

Model bahasa itu mengekalkan 97 dan 96 daripada 100 lesi berbahaya di bawah pemerhatian. Mereka membenarkan 3 dan 4 daripada 30 melanoma pulang. Tetapi mereka juga jarang melepaskan lesi tidak berbahaya: 32 dan 22 daripada 100. Semua yang lain dengan tahi lalat jinak akan dihantar menghadiri temu janji atau biopsi yang tidak perlu.

Ambang rangkaian lama itu ditetapkan lebih awal pada imej lain dan tidak disesuaikan dengan 200 kes ini. Dengan ambang itu, rangkaian tersebut berkelakuan berbeza. Ia membenarkan 76 daripada 100 lesi tidak berbahaya pulang dan hanya mengekalkan 77 yang berbahaya. Antara yang dilepaskannya ada 18 daripada 30 melanoma. Rangkaian itu memutuskan sama ada hendak membenarkan pulang menurut skala syak wasangkanya sendiri, apa jua diagnosis yang disebutnya. Itulah sebabnya ia melepaskan 18 melanoma walaupun ia tersilap diagnosis melanoma dalam 17 kes.

Samakan ambang dengan kewaspadaan chatbot dan gambaran berubah. Rangkaian itu mengekalkan 98 atau 99 daripada 100 lesi berbahaya, berbanding 97 dan 96 bagi model bahasa, dan membenarkan satu atau dua melanoma pulang berbanding tiga dan empat. Pada tahap kewaspadaan yang sama, rangkaian lama mengalahkan kedua-dua model dalam kedua-dua aspek. Lapan belas melanoma yang terlepas lebih banyak bercakap tentang tanda yang dipilih. Pembangun yang menetapkannya, dan pengguna tidak berhak bersuara mengenainya.

Soalan “perlukah saya berjumpa doktor?”

Orang biasa bertanya dengan cara yang berbeza daripada doktor. Dalam tinjauan KFF yang sama, 13% orang dewasa Amerika berkata mereka pernah memuat naik maklumat perubatan sendiri ke chatbot, seperti keputusan ujian atau nota doktor.

Lynch menguji senario itu juga. Dia menunjukkan kepada model-model itu hanya foto biasa, tanpa imej dermatoskop, dan bertanya soalan seorang pesakit: “Perlukah saya berjumpa doktor?” Kedua-dua model menasihati berjumpa doktor hampir setiap kali, termasuk untuk lesi tidak berbahaya. Pada set berasingan yang terdiri daripada 100 melanoma yang disahkan biopsi, mereka menyuruh orang itu berjumpa doktor dalam 99 dan 98 kes.

Bagi sesiapa yang memfoto tahi lalat dan memuat naiknya ke ChatGPT atau Claude , dua perkara berbangkit. Chatbot itu mungkin tidak akan terlepas melanoma. Ia juga tidak akan membersihkan tahi lalat jinak, jadi “pergi periksa” daripadanya hampir tidak memberitahu apa-apa. Ia berkelakuan seperti penggera asap yang berbunyi pada setiap keping roti bakar yang hangus: ia tidak akan tidur ketika kebakaran, tetapi ia tidak dapat membezakan kebakaran daripada sarapan.

Apa yang tidak dibuktikan oleh ujian ini

Lynch sendiri menyenaraikan kelemahannya. Dua ratus lesi cukup untuk menunjukkan corak keseluruhan tetapi tidak untuk membezakan keputusan yang rapat. Tiga puluh melanoma meninggalkan ketidakpastian yang luas pada angka yang paling penting. Setiap model bahasa melihat setiap kes sekali sahaja, dan jawapan mereka berbeza dari satu larian ke larian lain. MILK10k telah menjadi awam sejak 2025, jadi model mungkin pernah melihatnya semasa latihan. Pada pandangan pengarang, itu kalau ada pun akan membantu mereka.

Inception v3 berfungsi sebagai garis asas dalam ujian ini. Sistem diagnosis kulit terbaik sekarang menggabungkan beberapa rangkaian generasi lebih baharu dan dilatih dengan lebih banyak data. Produk terkawal yang dibina di atasnya, kata Lynch, berprestasi jauh lebih baik. Set ini sukar untuk rangkaian lama juga: pada imej Arkib ISIC biasa, ia membezakan lesi berbahaya daripada yang selamat dengan lebih tepat. Skor ringkasannya di sana 0.96 berbanding 0.86 di sini, di mana 1 bermaksud tiada kesilapan dan 0.5 bermaksud meneka.

Ujian ini belum disemak oleh rakan sejawat: ia sebuah catatan di laman web makmal. Sebagai ganti, Lynch menerbitkan segala yang diperlukan untuk menyemaknya: kes, gesaan, setiap jawapan model dan kod pemarkahan. Dia mendedahkan bahawa analisis dan draf pertama dihasilkan dengan Claude Code, alat pengekodan Anthropic, sedangkan salah satu model yang diujinya juga datang daripada Anthropic. Rangkaian itu tersedia dalam talian sebagai demo penyelidikan dan bukan peranti perubatan. Lynch sendiri memberi amaran bahawa ia terlepas sesetengah barah kulit, termasuk melanoma, dan tidak boleh digunakan untuk memutuskan sama ada hendak berjumpa doktor.

Kedua-dua model terkini akan menghantar pesakit yang melanomanya di telinga itu pulang apabila ditanya sebagai doktor, dengan kedua-dua foto. Bertindak sebagai penasihat pesakit, mereka akan menyuruhnya berjumpa doktor, seperti semua orang lain. Rangkaian lama memang nampak melanoma ini, tetapi sama ada ia diam atau membunyikan penggera bergantung pada satu tanda pada skalanya. Maka soalan yang lebih penting daripada AI mana yang lebih pintar ialah ini: siapa menetapkan tanda di bawahnya mesin itu berdiam diri, dan di mana?