// 목차
“장면 속 차량이나 인물 가운데 다른 누구도 직접 관여하지 않았다.” 한 AI 모델이 25초짜리 영상을 이렇게 요약했다. 영상에서는 붉은 자동차가 우회전하며 보행자를 들이받는다. 보행자는 쓰러졌다가 다시 일어난다. 요약문에는 이 중 어느 것도 없었다.
우연이 아니었다. 조지타운대와 워싱턴대 연구진이 거의 똑같은 두 교통사고 영상을 ChatGPT와 Gemini에 스무 번 설명하게 했더니, 20개 요약 중 19개에서 사고 자체가 빠져 있었다. 프리프린트 는 2026년 9월 23일 공개됐고, 10월에는 AI 윤리 학회 AIES 에서 발표됐다. 걱정은 현실적이다. 미국 경찰은 이미 바디캠 녹화로 보고서 초안을 쓰는 데 AI를 쓰고 있고, 그 초안을 검토하는 사람은 나중에 법정에서 증언할 수도 있는 바로 그 사람이다.
“일어나지 않은” 사고
2026년 봄, 저자인 마테아 심, 야엘 아이거, 타다요시 코노는 두 영상을 각각 다섯 번씩 ChatGPT-5.5와 경량 모델인 Gemini 2.5 Flash-Lite에 보여 주었다. 요청 사항은 최소 300단어 분량의 중립적인 요약, 추측도 새로운 사실도 넣지 말 것, 그리고 프롬프트에 “중요한 내용은 빠짐없이 포함할 것"이라고 못 박았다.
소용없었다. 요약문은 평균적으로 영상 핵심 사건의 51.6%를 빠뜨렸다. 열 편 중 아홉 편은 보행자가 아스팔트에 쓰러졌다가 일어났다는 사실조차 언급하지 않았다. 그러면서 모델은 화면에 없던 것을 덧붙였다. 더 많은 자동차, 더 많은 행인, 등장인물의 의도에 대한 추측까지. 심각한 부정확성은 요약 셋 중 둘꼴로 나왔다. 아이거는 조지타운대 보도자료 에서 “AI 발전 단계가 이쯤인데도 요약이 이렇게 형편없다는 데 놀랐다"고 말한다.
하루 뒤에 바뀐 표지판
붉은 자동차와 표지판은 거의 50년 된 이야기다. 1978년 엘리자베스 로프터스와 동료들은 사람들에게 슬라이드를 보여 주었다 . 정지 표지판 앞의 자동차였고, 그다음 다른 표지판이 적힌 장면 설명을 읽게 했다. 많은 사람이 나중에 본 적 없는 표지판을 기억해 냈다. 이것이 오정보 효과의 교과서적 사례가 됐다. 사건 이후에 알게 된 정보가 그 사건에 대한 기억을 다시 쓴다는 것이다. GTA V로 만든 두 영상은 이 연구를 최근 재현한 실험을 위해 제작됐고, 로프터스는 이번에도 저자에 이름을 올렸다. 두 영상은 단 하나만 다르다. 교차로에 있는 표지판이 정지 표지판이거나 양보 표지판이라는 점이다.
심과 동료들은 오정보의 출처를 사람에서 AI로 바꿨다. 미국 성인 331명이 영상을 본 뒤 24시간 후에 ChatGPT가 쓴 21문장짜리 요약을 읽었다. 절반에게는 글 속 표지판이 영상과 일치했고, 나머지 절반에게는 바뀌어 있었다. 연구진이 직접 바꾸었는데, 오류가 진짜처럼 보이도록 다른 ChatGPT 답변의 표현을 빌렸다. 이 연구가 측정한 것은 이런 오류가 무슨 일을 일으키는가이지, 모델이 얼마나 자주 그런 오류를 내는가가 아니다. 이어서 장면에 대한 12개 질문이 나왔다.
정확한 요약을 읽은 사람은 83.6%가 표지판을 맞혔다. 같은 재현 실험에 따르면 요약을 아예 읽지 않은 시청자도 약 80%는 맞히므로, 정확한 글은 기억을 거의 바꾸지 않는다. 오해를 부르는 요약을 읽은 뒤에는 44.8%에 그쳤다. 나머지는 그대로 남았다. 다른 열한 문항에서는 평균 91.4%가 정답을 맞혔다. 요약은 틀린 바로 그 세부 사항만 망가뜨렸다.
“AI” 표시는 도움이 되지 않았다
글은 언제나 같았지만, 어떤 참가자에게는 AI 전사 서비스에서 나왔다고, 다른 참가자에게는 전문 속기사가 썼다고 알렸다. 기계가 쓴 글이면 더 조심해서 읽으리라 기대할 법하다. 그렇지 않았다. 오해를 부르는 요약에 AI 표시를 받은 사람 중 표지판을 맞힌 비율은 46.3%, 사람이 썼다는 표시를 받은 쪽은 43.4%였고, 이 차이는 우연 범위 안이다. AI에 대한 신뢰도 도움이 되지 않았고, 자주 쓰는 습관도 마찬가지였다. 나타난 차이는 하나뿐인데 거의 웃음이 나올 만했다. 똑같은 글이라도 사람이 썼다고 생각할 때 참가자들은 더 명확하다고 느꼈다.
기계가 다시 들려준 이야기를 읽은 사람은 기계의 버전을 기억하기 시작한다.
규제 당국과 개발자에게는 난감한 결과다. 안전한 AI를 위한 지침은 거의 모두 “사람이 루프 안에 있어야 한다"는 원칙에 기댄다. 기계가 초안을 쓰고, 사람이 확인하고 고친다는 것이다. 이 연구는 검토 과정을 재현하지 않았다. 참가자에게 요약을 영상과 대조하라고 하지 않았고, 그냥 읽고 기억에 의존해 답하게 했다. 저자들의 결론은 신중하다. 사람의 기억이 AI의 실수를 바로잡는 대신 거기에 맞춰 휘어질 수 있으며, 실제 검토자로 이를 검증하는 일은 앞으로의 과제라는 것이다.
개구리가 된 경찰관
2026년 초 유타주 헤버시티에서 한 사건이 알려졌다. 경찰 보고서 초안에 한 경찰관이 개구리로 변했다 고 적혀 있었다. 배경에서 〈공주와 개구리〉가 재생되고 있었는데, 소프트웨어가 영화를 실제 사건의 일부로 착각한 것이다. 릭 킬 경사는 그때 부서가 이런 보고서를 고쳐 써야 한다는 것을 배웠다고 말했다. 부서는 이 도구를 계속 쓴다. 킬은 일주일에 여섯 시간에서 여덟 시간이 절약된다고 한다.
이 소프트웨어는 테이저 제조사 액손이 만든 Draft One으로, 바디캠 음성으로 초안을 작성한다. 액손의 도움말 페이지 는 표준 초안을 300~500단어로 잡고 있는데, 연구진의 프롬프트에 300단어가 들어간 것도 이 때문이다. 같은 페이지는 경찰관이 글을 꼼꼼히 검토하고 수정해야 한다고 말한다.
개구리는 누구라도 잡아낸다. 하지만 바뀐 표지판, 놓친 타격, 더해진 행인은 그럴듯해 보인다. 심의 연구는 이런 글을 읽은 경찰관이 나중에 그것을 자기 기억으로 떠올릴 수 있다는 우려를 제기한다. 아직은 실험실 결과다. 2025년 10월 캘리포니아주는 AI로 작성한 보고서에 표시를 붙이고 첫 초안을 보관하도록 경찰에 요구하는 SB 524를 통과시켰다. 디지털 권리 단체 EFF는 Draft One이 설계상, 어느 부분을 기계가 쓰고 어느 부분을 경찰관이 썼는지 보여 주는 수정 기록을 남기지 않는다고 지적했다 .
“경찰서가 엄격한 검증 없이 영상 요약 기술을 쓰고 있을지 모른다는 점이 걱정됩니다.” 아이거의 말이다.
연구가 아직 보여 주지 못하는 것
저자들이 한계를 직접 밝힌다. 영상은 단 두 편이었고 둘 다 단순한 게임 그래픽이었으며, 프롬프트는 하나, 요약은 스무 개였다. 두 번째 실험에 쓴 글은 여러 번의 시도 중에서 골라 손으로 가볍게 고친 것이다. 시험한 오류는 표지판이라는 한 종류뿐이었고, 실제 통화 직후가 아니라 차분한 온라인 설문 환경이었다. 실제 바디캠 영상은 자극적일 수 있어 제외했다. 실제 경찰 보고서와 함께 그 영상을 다루는 일이 다음 단계다.
요약은 녹화물 전체를 다시 볼 필요가 없게 하려고 존재한다. 그래서 원본과 대조해 보는 사람이 거의 없다. 반년 뒤 그 경찰관이 법정에서 증언한다면, 그가 기억하는 것은 교차로일까, 한때 교정을 본 그 초안일까?
