2015년 신경망이 GPT-6와 Claude보다 피부암을 더 잘 알아봤다

환자의 귀에 흑색종이 있다. 두께는 얇지만 이미 피부 아래로 파고들기 시작한 상태다. 피부과 의사 매그너스 린치는 이 병변의 사진 두 장을 2026년 10월 현재 가장 뛰어난 AI 모델 두 개, GPT-6 Astra와 Claude Fable 5.1에 보여 주었다. 두 모델의 답은 같았다. 지루성 각화증, 즉 무해한 사마귀 모양 혹이니 귀가시켜도 된다는 것이다. 같은 사진을 2015년 구글 엔지니어들이 발표한 신경망에 넣자, 이번에는 흑색종이라는 답이 나왔다.

이 사례는 우연이 아니다. 2026년 10월 25일에 공개된 테스트 에서 오래된 Inception v3 신경망은 병변 200개 중 125개, 즉 62%의 진단을 맞혔다. 최신 모델 두 개는 모두 42%였다. 저자에 따르면 이 오래된 신경망을 피부 이미지로 추가 학습시키는 데는 20분 정도 걸렸다. 테스트에서 더 흥미로운 대목은 정확도 점수 너머에 있다. 기계마다 틀리는 방식이 다르고, 그 차이가 누가 암을 안고 집에 돌아가느냐를 가른다. 이제 이것은 학술적인 질문이 아니다. 2026년 2월 24일부터 3월 2일까지 진행된 KFF 설문 에서 미국 성인의 32%가 지난 1년 사이 AI 챗봇에 건강 문제를 물어본 적이 있다고 답했다. 이런 채팅창에 점 사진을 올리는 일은 이제 아무도 놀라지 않는다.

누군가 이미 도려낸 점 200개

린치는 런던 가이스 병원의 컨설턴트 피부과 의사이자 모스 수술 전문의이며 킹스 칼리지 런던의 명예 부교수다. 연구 분야는 피부암과 피부과의 AI 활용이어서, 그는 임상의의 눈으로 테스트를 설계했다. 이미지는 국제피부영상협력체(ISIC)가 2025년에 공개한 데이터셋 MILK10k에서 가져왔다. 이 데이터셋의 병변은 모두 두 번 촬영되어 있다. 일반 근접 사진 한 장, 더모스코프로 찍은 사진 한 장이다.

린치는 병변 200개를 무작위로 뽑았다. 모든 진단은 조직검사로 확정되었다. 떼어 낸 조직을 현미경으로 들여다본 결과다. 병변 100개는 귀가시키면 안 되는 것이다. 흑색종 30개, 기저세포암 25개, 편평세포암 25개, 그리고 암으로 번질 수 있는 거칠고 햇볕에 손상된 반점인 광선각화증 20개다. 나머지 100개는 안전하다. 일반 점 50개와 지루성 각화증 50개다.

기저세포암과 편평세포암은 가장 흔한 피부암이며, 영국 암 연구소 가 설명하듯 몸의 다른 부위로 퍼지는 일이 드물다. 이 테스트에서 가장 중요한 경계선은 흑색종이다. 흑색종을 놓치는 것이 최악의 오류이므로, 흑색종을 기저세포암으로 착각하는 것은 그나마 덜한 악이다. 환자가 여전히 의사 곁에 남기 때문이다.

한 가지 함정이 있는데, 저자 스스로 이를 짚는다. 세트에 든 무해한 병변도 절제되어 검사실로 보내진 것들이다. 누군가 점을 떼어 내기로 했다면, 임상의가 보기에 뭔가 걱정스러운 구석이 있었다는 뜻이다. 그래서 이 테스트에는 전문의도 머뭇거릴 만큼 까다로운 점이 잔뜩 들어 있다.

모델들은 사진 두 장을 모두 받고 의사라면 물을 법한 질문에 답해야 했다. 여섯 가지 진단 중 가장 유력한 것은 무엇인지, 확신은 얼마나 되는지, 차선책은 무엇인지, 그리고 치료도 조직검사도 추적 관찰도 없이 환자를 귀가시켜도 되는지다. 어느 모델도 단 한 건도 답을 거부하지 않았다.

AI 피부과 의사의 출발점이 된 신경망

Inception v3는 의료용으로 만들어진 것이 아니다. 구글 엔지니어들은 2015년 12월 논문 에서 이것을 사진 속 일상적인 사물을 알아보는 신경망으로 소개했다. 합성곱 신경망이어서, 작은 창으로 이미지를 훑으며 모서리나 얼룩 같은 작은 단서를 점점 큰 패턴으로 조립해 나간다.

2017년 1월, 스탠퍼드 연구팀이 이 신경망을 집어 들었다. 질환 2,032종을 아우르는 피부 이미지 129,450장으로 추가 학습시킨 뒤, 조직검사로 확인된 이미지에서 암과 무해한 병변을 가려내는 실력이 전문의 자격을 가진 피부과 의사 21명과 대등했다고 Nature에 보고했다 . 저자들은 이런 신경망이 스마트폰에 들어가면 피부과 의사의 손길을 진료실 밖까지 넓힐 수 있다고 내다봤다.

린치는 같은 구조를 가져다 그래픽카드 한 장으로 ISIC 아카이브 의 이미지 68,011장을 추가 학습시켰다. 테스트용 병변 200개와, 같은 병변이나 같은 환자의 다른 사진은 미리 모두 학습 데이터에서 뺐으므로 신경망은 이것들을 본 적이 없다. 최신 언어 모델은 코드를 짜고, 계약서를 검토하고, 무엇에 대해서든 수다를 떤다. 그런데 점을 알아보는 일에서는 10년 전의 좁은 전문가에게 졌다.

대형 모델마다 편애하는 답이 있다

격차는 무해한 병변에서 가장 크게 벌어진다. GPT-6 Astra는 일반 점 50개 중 16개만, Claude Fable 5.1은 지루성 각화증 50개 중 6개만 알아봤지만, 신경망은 각각 37개와 26개를 맞혔다. 챗봇은 하필 그냥 둬도 되는 것을 알아보는 데 가장 서툴다. 흑색종 수치는 어느 것도 인상적이지 않은데, 어려운 세트를 있는 그대로 보여 주는 결과다.

더 나쁜 점은 언어 모델마다 편애하는 답이 있다는 것이다. GPT-6 Astra는 세트에 25개뿐인 기저세포암 딱지를 병변 75개에 붙였고, 흑색종 30개 중 14개가 그 더미에 들어갔다. 이 환자는 그래도 의사 곁에 남는다. 흑색종을 다른 암으로 착각했을 뿐이니까. 진짜 기저세포암 25개는 전부 맞혀서, 신경망의 24개보다 하나 더 많았다. 이 만점은 버릇의 부산물이다. 병변 셋 중 하나꼴로 기저세포암이라고 부르면 진짜는 하나도 빠져나가지 못한다. Claude Fable 5.1은 실제 20개인 광선각화증을 53건에서 보았다. 이 각화증에서는 오래된 신경망이 두 모델에 졌다. 20개 중 9개를 맞혀, 각각 10개와 12개를 맞힌 모델들에 못 미쳤다. 또 다른 사례로, GPT-6 Astra는 색소가 거의 없는 흑색종을 기저세포암으로 착각하고 확신도를 95%로 매겼다.

신경망의 흑색종 오류는 반대 방향으로 났다. 놓친 17건 중 8건은 흑색종을 일반 점으로, 6건은 지루성 각화증으로 불렀는데, 둘 다 그냥 둬도 되는 것이다. 그런 진단이면 사람을 집으로 돌려보내기 쉽다.

모든 것은 문턱값에 달렸다

의사에게 필요한 것은 흔히 “이게 무엇인가"보다 단순한 질문의 답이다. 이 사람을 집에 보낼 것인가, 말 것인가. 신경망은 이 질문에 0에서 1 사이의 숫자로 답한다. 병변이 얼마나 위험해 보이는지를 나타내는 값이다. 문턱값은 이 눈금 위에 그은 선으로, 이 선을 넘으면 신경망이 “검사받으세요"라고 말한다. 선을 낮추면 경보가 늘고, 높이면 신경망이 더 많은 사람을 집으로 보낸다.

언어 모델들은 위험한 병변 100개 중 97개와 96개를 감시 대상으로 남겼다. 흑색종 30개 중 3개와 4개는 귀가시켰다. 하지만 무해한 병변도 거의 보내지 않았다. 100개 중 32개와 22개뿐이다. 양성 점을 가진 나머지 사람들은 불필요한 진료나 조직검사로 보내졌을 것이다.

오래된 신경망의 문턱값은 다른 이미지로 미리 정해 둔 것이며, 이 200건에 맞춰 조정하지 않았다. 이 문턱값에서 신경망은 다르게 움직였다. 무해한 병변 100개 중 76개를 귀가시켰고, 위험한 병변은 77개만 남겼다. 놓아 준 것 중에는 흑색종 30개 중 18개가 있었다. 신경망은 어떤 진단명을 대든 자기 의심 눈금에 따라 귀가 여부를 정한다. 그래서 흑색종 진단을 17건 틀렸는데도 흑색종 18개를 놓아 준 것이다.

문턱값을 챗봇의 조심성에 맞추면 그림이 달라진다. 신경망은 위험한 병변 100개 중 98개 또는 99개를 남기는데, 언어 모델은 97개와 96개다. 귀가시키는 흑색종은 한두 개로, 언어 모델의 세 개와 네 개보다 적다. 같은 수준의 조심성에서는 오래된 신경망이 두 기준 모두에서 두 모델을 앞선다. 놓친 흑색종 18개는 선택된 선에 대해 더 많은 것을 말해 준다. 그 선은 개발자가 정하고, 사용자는 어떤 발언권도 없다.

“병원에 가봐야 할까요?“라는 질문

일반인은 의사와 다르게 묻는다. 같은 KFF 설문에서 미국 성인의 13%는 검사 결과나 진료 기록 같은 자신의 의료 정보를 챗봇에 올려 본 적이 있다고 답했다.

린치는 그 시나리오도 시험했다. 더모스코프 이미지는 빼고 일반 사진만 보여 준 뒤 환자의 질문을 던졌다. “병원에 가봐야 하나요?” 두 모델은 무해한 병변까지 거의 매번 병원에 가라고 권했다. 조직검사로 확인된 흑색종 100개로 따로 구성한 세트에서는 각각 99건과 98건에서 의사에게 보냈다.

점 사진을 찍어 ChatGPT 나 Claude 에 올리는 사람에게는 두 가지 결론이 나온다. 챗봇은 아마 흑색종을 놓치지 않을 것이다. 하지만 양성 점도 풀어 주지 않으므로, 그 “검사받으세요"는 사실상 아무것도 알려 주지 않는다. 탄 식빵 한 장에도 울리는 화재경보기와 같다. 불이 났을 때 자고 넘어가진 않겠지만, 불과 아침 식사를 구별하지는 못한다.

이 테스트가 증명하지 못하는 것

린치는 약점을 스스로 나열한다. 병변 200개는 전체 경향을 보여 주기에는 충분하지만 비슷한 결과의 순위를 매기기에는 부족하다. 흑색종 30개로는 가장 중요한 수치의 불확실성이 크다. 언어 모델은 각 사례를 한 번씩만 보았고, 답은 실행마다 달라진다. MILK10k는 2025년부터 공개되어 있어서 모델이 학습 중에 보았을 수도 있다. 저자는 그랬다면 오히려 모델에 유리했을 것이라고 본다.

Inception v3는 이 테스트에서 기준선 역할을 한다. 현재 최고의 피부 진단 시스템은 더 새로운 세대의 신경망 여럿을 결합하고 더 많은 데이터로 학습한다. 린치에 따르면 이를 기반으로 한 규제 대상 제품은 훨씬 좋은 성능을 낸다. 이 세트는 오래된 신경망에도 어려웠다. 일반적인 ISIC 아카이브 이미지에서는 위험한 병변과 안전한 병변을 더 정확하게 가려냈다. 종합 점수는 거기서 0.96, 여기서는 0.86이며, 1은 오류가 없음을, 0.5는 찍기를 뜻한다.

이 테스트는 동료 심사를 거치지 않았다. 연구실 웹사이트에 올라온 글이다. 대신 린치는 검증에 필요한 모든 것을 공개했다. 사례, 프롬프트, 모든 모델의 응답, 채점 코드다. 분석과 초안 작성에는 Anthropic의 코딩 도구 Claude Code를 썼으며, 테스트한 모델 중 하나도 Anthropic 제품이라고 밝힌다. 신경망은 연구용 데모 로 온라인에 공개되어 있고 의료기기가 아니다. 린치 본인이 이 신경망은 흑색종을 포함한 일부 피부암을 놓치므로 병원에 갈지 말지를 결정하는 데 써서는 안 된다고 경고한다.

귀에 흑색종이 있던 환자는 의사로서 사진 두 장을 모두 보여 주며 물었다면 두 최신 모델 모두 집으로 돌려보냈을 것이다. 환자의 조언자로서 물었다면 다른 모든 사람과 똑같이 병원에 가라고 했을 것이다. 오래된 신경망은 이 흑색종을 정말로 보았다. 그러나 잠자코 있을지 경보를 울릴지는 눈금 위의 선 하나에 달려 있다. 그러니 어느 AI가 더 똑똑한가보다 더 중요한 질문은 이것이다. 기계가 입을 다무는 선을 누가, 어디에 긋는가?