Jaringan saraf 2015 mengalahkan GPT-6 dan Claude dalam mengenali kanker kulit

Melanoma itu bersarang di telinga seorang pasien. Tipis, tetapi sudah mulai tumbuh ke dalam kulit. Dokter kulit Magnus Lynch menunjukkan dua fotonya kepada dua model AI paling mumpuni per Oktober 2026, GPT-6 Astra dan Claude Fable 5.1. Jawaban keduanya sama: keratosis seboroik, tonjolan berbintil yang tidak berbahaya, pasien boleh pulang. Lalu foto yang sama diberikan kepada jaringan saraf yang dirancang insinyur Google pada 2015. Jaringan itu menyebutnya melanoma.

Kasus ini bukan kebetulan. Dalam uji yang terbit pada 25 Oktober 2026 , jaringan Inception v3 yang sudah tua menyebut diagnosis yang tepat untuk 125 dari 200 lesi, atau 62%. Kedua model terdepan hanya mencapai 42%. Menyetel ulang jaringan lawas itu dengan gambar kulit, menurut pengakuan penulisnya, memakan waktu sekitar dua puluh menit. Bagian yang lebih menarik dari uji ini ada di balik angka akurasi: setiap mesin salah dengan caranya sendiri, dan itulah yang menentukan siapa yang dipulangkan dengan kanker di tubuhnya. Ini bukan lagi pertanyaan akademis. Dalam jajak pendapat KFF yang digelar 24 Februari hingga 2 Maret 2026, 32% orang dewasa Amerika mengaku pernah bertanya soal kesehatan kepada chatbot AI dalam setahun terakhir, dan foto tahi lalat di obrolan semacam itu kini tak mengejutkan siapa pun.

Dua ratus tahi lalat yang sudah diangkat

Lynch adalah dokter spesialis kulit konsultan sekaligus ahli bedah Mohs di Guy’s Hospital, London, dan dosen kehormatan di King’s College London. Penelitiannya mencakup kanker kulit dan pemanfaatan AI dalam dermatologi, jadi ia menyusun ujinya seperti seorang klinisi. Gambarnya ia ambil dari MILK10k, kumpulan data terbuka yang dirilis pada 2025 lewat International Skin Imaging Collaboration (ISIC). Setiap lesi di dalamnya difoto dua kali: sekali sebagai foto jarak dekat biasa, sekali lagi lewat dermatoskop.

Lynch mengambil 200 lesi secara acak. Setiap diagnosis dikonfirmasi lewat histologi, yakni pemeriksaan jaringan yang diangkat di bawah mikroskop. Seratus lesi di antaranya tidak boleh dipulangkan begitu saja: 30 melanoma, 25 karsinoma sel basal, 25 karsinoma sel skuamosa, dan 20 keratosis aktinik, bercak kasar akibat paparan matahari yang bisa berubah menjadi kanker. Seratus lainnya aman: 50 tahi lalat biasa dan 50 keratosis seboroik.

Karsinoma sel basal dan sel skuamosa adalah kanker kulit yang paling sering ditemukan, dan seperti dicatat Cancer Research UK , keduanya jarang menyebar ke bagian tubuh lain. Melanoma adalah garis batas terpenting dalam uji ini. Melewatkannya adalah kesalahan terburuk, sehingga menganggap melanoma sebagai karsinoma sel basal masih termasuk kesalahan yang lebih ringan: pasien tetap berada di tangan dokter.

Ada satu catatan, dan penulisnya sendiri menyebutkannya. Lesi tak berbahaya dalam set ini juga sudah diangkat dan dikirim ke laboratorium. Kalau seseorang memutuskan untuk mengangkat sebuah tahi lalat, berarti ada sesuatu pada tahi lalat itu yang membuat klinisi cemas. Jadi ujinya penuh dengan tahi lalat yang paling licin, jenis yang membuat para spesialis sekalipun ragu.

Model-model itu menerima kedua foto dan diminta menjawab seperti yang akan ditanyakan seorang dokter: dari enam diagnosis, mana yang paling mungkin, seberapa yakin mereka, apa pilihan keduanya, dan apakah pasien boleh dipulangkan tanpa pengobatan, biopsi, atau tindak lanjut. Tak satu pun model menolak menjawab.

Jaringan yang memulai era dokter kulit AI

Inception v3 tidak dibuat untuk kedokteran. Dalam makalah Desember 2015 , para insinyur Google memperkenalkannya sebagai jaringan untuk mengenali benda sehari-hari di dalam foto. Ini adalah jaringan saraf konvolusional: ia memindai gambar lewat jendela-jendela kecil dan merakit detail mungil seperti tepi dan bercak menjadi pola yang kian besar.

Pada Januari 2017, tim Stanford mengambilnya. Mereka menyetelnya dengan 129.450 gambar kulit yang mencakup 2.032 penyakit dan melaporkan di Nature bahwa pada gambar yang terbukti lewat biopsi, jaringan itu bisa membedakan kanker dari lesi tak berbahaya sebaik 21 dokter kulit bersertifikat. Para penulis menyarankan bahwa jaringan semacam itu di ponsel pintar dapat membawa jangkauan dokter kulit melampaui klinik.

Lynch memakai arsitektur yang sama dan menyetelnya dengan 68.011 gambar dari ISIC Archive pada satu kartu grafis. Ia lebih dulu membuang ke-200 lesi uji, beserta setiap foto lain dari lesi atau pasien yang sama, dari data latih, sehingga jaringan itu belum pernah melihatnya. Model bahasa terbaru bisa menulis kode, menelaah kontrak, dan mengobrol tentang apa saja. Dalam mengenali tahi lalat, mereka kalah dari seorang spesialis sempit dari satu dekade lalu.

Setiap model besar punya jawaban favorit

Jurangnya paling lebar pada lesi yang tidak berbahaya. GPT-6 Astra hanya mengenali 16 dari 50 tahi lalat, Claude Fable 5.1 hanya 6 dari 50 keratosis seboroik, sementara jaringan lawas itu mendapat 37 dan 26. Chatbot paling payah justru dalam mengenali apa yang boleh dibiarkan. Angka melanoma tak satu pun yang mengesankan, dan itu gambaran jujur dari set yang sulit.

Lebih buruk lagi, setiap model bahasa punya jawaban favorit. GPT-6 Astra melabeli 75 lesi sebagai karsinoma sel basal padahal set itu hanya berisi 25, dan 14 dari 30 melanoma masuk ke tumpukan itu. Pasien tersebut tetap akan berada di tangan dokter: melanoma keliru dikira kanker lain. GPT-6 Astra memang menjawab benar semua 25 karsinoma sel basal yang asli, satu lebih banyak daripada 24 milik jaringan itu. Nilai sempurna tersebut adalah efek samping dari kebiasaannya: sebut setiap lesi ketiga sebagai karsinoma sel basal, dan tak ada yang asli yang lolos. Claude Fable 5.1 melihat keratosis aktinik di 53 kasus, padahal yang sebenarnya hanya 20. Pada keratosis itu, jaringan lawas kalah dari kedua model, dengan 9 dari 20 melawan 10 dan 12. Dalam contoh lain, GPT-6 Astra mengira melanoma yang nyaris tanpa pigmen sebagai karsinoma sel basal dan menyatakan keyakinannya 95%.

Kesalahan jaringan lawas pada melanoma bergerak ke arah sebaliknya. Dari 17 melanoma yang meleset, 8 kali ia menyebutnya tahi lalat dan 6 kali keratosis seboroik, dua-duanya hal yang boleh dibiarkan. Dengan diagnosis seperti itu, seseorang mudah saja dipulangkan.

Semuanya bermuara pada ambang batas

Yang sering dibutuhkan dokter adalah jawaban atas pertanyaan yang lebih sederhana daripada “ini apa”: pulangkan atau tidak. Jaringan itu menjawabnya dengan angka dari 0 sampai 1 yang menunjukkan seberapa berbahaya tampaknya sebuah lesi. Ambang batas adalah tanda pada skala itu; di atasnya, jaringan berkata “periksakan”. Turunkan tandanya dan alarm makin sering berbunyi. Naikkan, dan makin banyak orang yang dipulangkan.

Model bahasa itu tetap mengawasi 97 dan 96 dari 100 lesi berbahaya. Mereka memulangkan 3 dan 4 dari 30 melanoma. Tetapi mereka juga jarang melepas lesi yang tak berbahaya: hanya 32 dan 22 dari 100. Semua penderita tahi lalat jinak lainnya akan dikirim ke janji temu atau biopsi yang sebenarnya tak perlu.

Ambang batas jaringan lawas itu ditetapkan lebih dulu pada gambar lain dan tidak disetel untuk ke-200 kasus ini. Dengan ambang itu, jaringan berperilaku berbeda. Ia memulangkan 76 dari 100 lesi tak berbahaya dan hanya mengawasi 77 dari yang berbahaya. Di antara yang dilepaskannya ada 18 dari 30 melanoma. Jaringan memutuskan memulangkan berdasarkan skala kecurigaannya sendiri, apa pun diagnosis yang ia sebutkan. Itulah sebabnya ia melepas 18 melanoma padahal diagnosis melanomanya meleset di 17 kasus.

Sesuaikan ambang batas dengan kehati-hatian chatbot, dan gambarnya berubah. Jaringan itu mengawasi 98 atau 99 dari 100 lesi berbahaya, dibandingkan 97 dan 96 pada model bahasa, dan memulangkan satu atau dua melanoma dibandingkan tiga dan empat. Pada tingkat kehati-hatian yang sama, jaringan lawas itu mengalahkan kedua model di kedua sisi. Ke-18 melanoma yang terlewat lebih banyak bercerita tentang tanda yang dipilih. Pengembanglah yang menetapkannya, dan pengguna tak punya suara.

Pertanyaan “perlu ke dokter nggak?”

Orang awam bertanya dengan cara berbeda dari dokter. Dalam jajak pendapat KFF yang sama, 13% orang dewasa Amerika mengaku pernah mengunggah informasi medis pribadi ke chatbot, seperti hasil tes atau catatan dokter.

Lynch menguji skenario itu juga. Ia menunjukkan kepada model-model itu hanya foto biasa, tanpa gambar dermatoskop, dan mengajukan pertanyaan seorang pasien: “Apakah saya perlu ke dokter?” Kedua model menyarankan ke dokter hampir setiap kali, termasuk untuk lesi yang tak berbahaya. Pada set terpisah berisi 100 melanoma yang terbukti lewat biopsi, mereka menyuruh orang ke dokter di 99 dan 98 kasus.

Bagi siapa pun yang memotret tahi lalat lalu mengunggahnya ke ChatGPT atau Claude , ada dua konsekuensi. Chatbot kemungkinan besar tidak akan melewatkan melanoma. Tetapi ia juga tidak akan menyatakan tahi lalat jinak aman, jadi anjuran “periksakan” darinya nyaris tak memberi tahu apa-apa. Ia bekerja seperti alarm asap yang berbunyi setiap kali roti panggang gosong: tak akan tertidur saat kebakaran, tetapi tak bisa membedakan api dari sarapan.

Apa yang tidak dibuktikan uji ini

Lynch sendiri mencantumkan titik-titik lemahnya. Dua ratus lesi cukup untuk memperlihatkan pola umum, tetapi tidak untuk memeringkat hasil yang berdekatan. Tiga puluh melanoma menyisakan ketidakpastian lebar pada angka yang paling penting. Setiap model bahasa melihat setiap kasus satu kali, dan jawaban mereka berubah dari satu percobaan ke percobaan berikutnya. MILK10k terbuka untuk umum sejak 2025, jadi model-model itu mungkin sudah melihatnya saat pelatihan. Menurut penulisnya, kalau pun benar, itu justru menguntungkan mereka.

Inception v3 berfungsi sebagai garis dasar dalam uji ini. Sistem diagnosis kulit terbaik saat ini menggabungkan beberapa jaringan generasi lebih baru dan dilatih dengan lebih banyak data. Produk berizin yang dibangun di atasnya, kata Lynch, bekerja jauh lebih baik. Set ini sulit bagi jaringan lawas itu juga: pada gambar ISIC Archive biasa, ia memisahkan lesi berbahaya dari yang aman dengan lebih akurat. Skor ringkasnya di sana 0,96 dibandingkan 0,86 di sini, dengan 1 berarti tanpa kesalahan dan 0,5 berarti menebak.

Uji ini belum ditinjau sejawat: ia berupa tulisan di situs laboratorium. Sebagai gantinya, Lynch menerbitkan semua yang dibutuhkan untuk memeriksanya: kasus-kasusnya, prompt, setiap jawaban model, dan kode penilaiannya. Ia mengungkapkan bahwa analisis dan draf pertama dibuat dengan Claude Code, alat pemrograman milik Anthropic, sementara salah satu model yang ia uji juga berasal dari Anthropic. Jaringan itu tersedia daring sebagai demo riset dan bukan alat kesehatan. Lynch sendiri memperingatkan bahwa jaringan ini melewatkan sebagian kanker kulit, termasuk melanoma, dan tidak boleh dipakai untuk memutuskan perlu tidaknya ke dokter.

Kedua model terdepan akan memulangkan pasien dengan melanoma di telinga itu ketika ditanya sebagai dokter, dengan kedua foto. Bertindak sebagai penasihat pasien, mereka akan menyuruhnya ke dokter, seperti semua orang lainnya. Jaringan lawas itu memang melihat melanoma ini, tetapi apakah ia diam atau membunyikan alarm bergantung pada sebuah tanda di skalanya. Jadi pertanyaan yang lebih penting daripada AI mana yang lebih pintar adalah ini: siapa yang menetapkan tanda di bawah mana mesin itu diam, dan di mana letaknya?