챗봇과 10분, 사람들은 어려운 문제를 더 빨리 포기한다

문제는 초등학교 5학년 수준이었다. 분수의 덧셈, 뺄셈, 곱셈, 나눗셈이다. 참가자들은 연구에 참여해 용돈을 버는 플랫폼 프롤리픽(Prolific)을 통해 집에서 문제를 풀었고, 전체 보수는 2.60달러였다. 절반에게는 화면 오른쪽에 AI 어시스턴트 채팅창이 주어졌고, 나머지 절반에게는 아무것도 없었다. 열두 번째 문제가 끝나면 채팅창이 사라졌고, 두 집단 모두 혼자서 세 문제를 더 풀어야 했다.

이 세 문제에서 어시스턴트를 썼던 집단은 57%를 풀었고, 쓰지 않은 집단은 73%를 풀었다. 도우미를 잃은 사람들은 문제를 포기하는 비율도 거의 두 배였다. 20% 대 11%다. AI와 10분쯤 함께 일한 것만으로 이런 효과가 나타났다. 다음 실험에서는 흥미로운 사실이 드러났다. 챗봇에게 완성된 답을 달라고 한 사람들의 성적이 가장 나빴다. 힌트를 달라고 한 사람들에게서는 눈에 띄는 손실이 발견되지 않았다.

실험을 이끈 사람은 카네기멜런대학교의 그레이스 리우, 알고리즘과 AI를 다룬 책으로 유명한 UC 버클리 인간 호환 AI 센터(CHAI)의 브라이언 크리스천, 그리고 옥스퍼드, MIT, UCLA의 과학자 세 명이다. 프리프린트 는 4월에 공개됐고, 수정본은 2026년 10월 샌프란시스코에서 열린 언어 모델 학회 COLM에서 발표됐으며, 10월 9일 버클리 뉴스가 소개했다 .

도우미와 함께 열두 문제, 혼자서 세 문제

심리학자들은 끈기를 꽤 단순하게 잰다. 어려운 문제를 붙들고 있다가 손을 놓기까지 얼마나 걸리는지를 본다. 이 실험에서는 건너뛰기로 셌다. 어느 문제든 건너뛸 수 있었고, 건너뛴다는 것은 그 문제와 씨름하지 않기로 했다는 뜻이다. 두 집단 모두 틀리면 정답 풀이를 볼 수 있었으니 모두가 배우고 있었던 셈이다. 한 집단은 혼자 배웠고, 다른 집단에는 언제든 대신 전부 해줄 수 있는 동반자가 있었다.

세 번의 실험에는 미국인 1,222명이 참여했고, 각 실험은 앞 실험의 빈틈을 메웠다. 채팅창이 갑자기 사라져서 당황했을 수도 있다. 방금까지 있던 창이 없어졌으니까. 두 번째 실험에서는 AI를 쓰지 않은 집단에게도 사이드 패널을 줬고, 거기에는 참가자들이 이미 본 문제의 풀이가 나왔다. 격차는 줄었지만 유지됐다. 다만 건너뛰기 횟수의 차이는 이번에는 통계적으로 유의하지 않았고, 저자들도 이를 솔직히 밝힌다.

세 번째 실험은 이것이 산수에만 해당하는 현상인지 확인했다. 참가자들은 미국 SAT 방식의 독해 문제에 답했다. 패턴은 그대로였고, AI를 쓰다 말고 빼앗긴 사람들은 문제를 훨씬 자주 건너뛰었다. 8% 대 1%다.

답을 달라고 할까, 힌트를 달라고 할까

두 번째 실험에서는 참가자들에게 채팅을 어떻게 썼는지 묻고, 그 답에 따라 결과를 비교했다. 채팅이 꺼진 뒤 완성된 답을 달라고 했던 사람들은 문제의 65%를 풀었고, 대조군은 77%를 풀었다.

여기서 저자들은 중요한 단서를 단다. 채팅을 어떻게 쓸지는 사람들이 스스로 골랐고, 무작위로 배정한 것이 아니다. 완성된 답을 달라고 하는 사람들은 AI가 없었더라도 더 빨리 포기했을 사람들일 수 있다. 그러니 사용 방식별 분석이 보여주는 것은 연관성이지 입증된 원인이 아니다. 핵심 결과는 여전히 인과적이다. 무작위로 AI 집단에 배정된 사람들은 AI를 빼앗기자 더 나쁜 성적을 냈다.

분수 이야기가 아니다

“눈에 띄는 발견이지만, 한편으로는 우리 중 많은 사람이 막연히 느끼던 이야기에 근거를 보태주는 결과입니다.” 크리스천이 버클리 뉴스에 한 말이다. “저도 그렇게 느낍니다.” 그의 견해로는 이것은 분수나 SAT 문제의 이야기가 아니다. 초등학생부터 세계 최고의 전문가까지 누구에게나 같은 패턴이 적용된다.

저자들은 메커니즘을 이렇게 설명한다. AI와 일하면 사람은 즉각적인 답을 기대하게 되고, 어려운 부분을 혼자 밀고 나가는 연습은 하지 않게 된다. 쉽게 말해 엘리베이터와 비슷하다. 엘리베이터가 돌아가는 동안에는 아무도 계단이 필요 없다. 고장 나면 5층이 어쩐지 일주일 전보다 높아 보인다.

다른 실험에서도 비슷한 결과가 나왔다. 2025년 학술지 PNAS는 튀르키예의 한 학교에서 고등학생 거의 천 명이 GPT-4 두 가지 버전으로 수학을 공부한 연구를 실었다 . 연습 때는 두 버전 모두 도움이 됐다. 그러나 AI를 쓸 수 없던 시험에서 일반 챗봇을 쓴 학생들은 AI 없이 공부한 반 친구들보다 17% 낮은 점수를 받았다. 답 대신 힌트를 주는 튜터 버전으로 공부한 학생들에게서는 이 손해가 거의 사라졌다.

2026년 1월 앤트로픽은 같은 생각을 프로그래머에게 시험해 봤다 . 주로 주니어인 개발자 52명이 낯선 파이썬 라이브러리를 배웠다. AI 어시스턴트와 함께 배운 사람들은 이후 AI 없이 본 시험에서 50%를 받았고, 나머지는 67%를 받았다. 격차는 디버깅 문제에서 가장 컸다. 이번에도 성적이 나은 쪽은 모든 일을 기계에 맡기지 않고 코드를 이해하려고 질문을 던진 사람들이었다.

10분이 증명하지 못하는 것

“AI가 우리를 멍청하게 만든다” 같은 헤드라인은 이 실험이 보여주는 바가 아니다. 이 실험이 잰 것은 하나, 도움이 사라진 직후 몇 분 동안 무슨 일이 일어나는가다. 챗봇과 함께 보낸 하루, 한 달, 일 년 뒤에도 효과가 이어지는지는 연구에서 검증하지 않았고, 저자들도 이를 한계로 꼽는다.

참가자들에게 걸린 판돈도 작았다. 2.60달러와 13분의 시간을 위해 분수 하나하나와 끝까지 싸울 사람은 드물고, 시험장이나 직장에서는 동기가 전혀 다르다. 효과는 눈에 띄지만 크지는 않다. 두 번째 실험에서 푼 문제 수의 차이는 6퍼센트포인트로 좁혀졌다. 그리고 가장 희망적인 발견인 힌트 이야기는 작은 하위 집단에 기댄다. 두 번째 실험 AI 집단의 27%, 약 80명이고, 결과는 아직 확인이 필요하다.

그래도 그림은 서로 독립적이고 대상이 크게 다른 세 연구에서 되풀이된다. 튀르키예의 학생들, 프로그래머들, 미국의 무작위 성인들. 어디서나 일의 어려운 부분을 통째로 기계에 넘긴 사람들의 결과가 가장 나빴다.

베끼지 못하게 하는 튜터

크리스천이 제안하는 해법은 소박하게 들린다. 기본값에서 AI의 응답이 튜터처럼 작동할 수 있다는 것이다. 완성된 결과를 건네는 대신 아이디어 쪽으로 이끈다. 그는 목표를 어떤 설정보다 넓게 잡는다. “우리는 인간의 능력이 가능한 한 대체되는 것이 아니라 확장되는 미래를 향해 나아가야 합니다.”

이런 모드는 이미 있다. 2025년 7월 29일 오픈AI는 ChatGPT 스터디 모드를 내놓았다 . 길잡이 질문을 던지며 풀이까지 한 단계씩 데려다준다. Claude 에도 비슷한 학습 모드가 있다. 하지만 직접 켜야 하고, ChatGPT에서는 대화 도중에 끌 수도 있다. 일반 모드는 여전히 곧바로 완전한 답을 내놓는다.

그러니 “답을 줘"와 “힌트를 줘” 사이의 선택은 사람 몫이고, 그것도 문제가 급한 가장 나쁜 순간에 찾아온다. 이 이야기에서 힌트는 엘리베이터가 아니라 난간 같은 것이다. 계속 제 다리로 오르기 때문에, 도움이 사라져도 계단이 더 가파르게 느껴지지 않는다.