1월 1일에 Deezer 가 하루 동안 받은 AI 노래를 전부 재생 버튼 한 번으로 틀어 보자. 한숨도 자지 않고 듣는다 해도 마지막 곡은 7월 7일에야 끝난다. 이 서비스에는 AI가 완전히 만든 트랙이 하루 평균 약 9만 곡 올라오는데, 새로 올라오는 음악의 절반이 넘는 양이다. 그리고 이 곡들의 주된 청중은 봇이다.

2026년 10월 13일, Deezer는 올해가 가기 전에 앱에 이런 음악을 검색에서 빼 주는 토글 을 넣겠다고 밝혔다. 이 음악이 실제로 얼마나 되는지, 누구를 위한 것인지 따져 볼 만한 계기다. 돈이 어떻게 벌리는지는 10월 6일 징역 18개월을 선고받은 한 남자가 가장 잘 설명해 준다. 그는 자기 자신에게 보낸 이메일에 수법을 그대로 적어 두었다.

계산의 출발점

이 수치는 모두 Deezer 자체 발표 이며 독립적인 검증은 없다. 서비스가 세는 것은 탐지기가 AI 완전 생성으로 분류한 트랙뿐이다. AI가 사람 음악가를 거들기만 한 곡은 포함되지 않는다.

Deezer는 AI 트랙의 평균 길이를 공개하지 않는다. 그래서 일반 대중음악의 기준을 빌린다. 2024년 Spotify 차트 곡의 평균 길이는 약 3분 이었다. 이 글의 핵심 가정이니 뒤에서 다시 다루겠다.

하루치 업로드는 여섯 달 동안 재생된다

9만 곡에 곡당 3분이면 27만 분이다. 4,500시간, 즉 187일 반이다. 그래서 7월 7일이다. 1월 1일 자정에 틀기 시작하면 마지막 곡은 정오 무렵 끝난다.

잠 안 자고 듣는 사람은 없으니 좀 너그러운 버전으로 계산해 보자. 주 40시간 근무 기준으로는 112주가 걸린다. 휴가 없이 2년이 넘는다. 사람이 녹음한 음악까지 더하면 하루치 업로드만으로 거의 1년을 재생하게 된다.

그동안에도 Deezer에는 매일 9만 곡이 새로 들어올 것이다.

4,200만 곡, 혹은 1786년부터 이어진 콘서트

이제 전체 아카이브다. 2025년 1월 이후 Deezer의 탐지기가 AI 완전 생성으로 걸러낸 트랙은 4,200만 곡이 넘는다. 곡당 3분이면 1억 2,600만 분, 210만 시간이다. 이를 24시간과 365일로 나누면 쉬지 않고 약 240년 분량의 소리가 나온다.

모차르트의 〈피가로의 결혼〉이 빈에서 초연된 1786년에 누군가 듣기 시작했다면 지금쯤 마지막 곡을 듣고 있을 것이다. 게다가 이 아카이브는 2년이 채 안 되는 사이에 쌓였다. 2025년 1월에는 하루 약 1만 곡이던 생성 트랙이 2026년 6월에는 아홉 배로 불어났다.

추정이 틀릴 수 있는 곳

9만이라는 숫자는 기록을 세운 6월의 일평균이다. 봄에는 유입량이 더 적었고(4월에 하루 7만 5천 곡), 10월 현재 Deezer가 내세우는 수치는 여전히 9만에 가깝다. 다른 서비스는 이만큼 자세히 공개하지 않으므로 이 계산을 그대로 옮길 수는 없다. 더 많을 수도, 적을 수도 있다.

그래도 자릿수는 어떤 보정을 해도 바뀌지 않는다. 절반쯤 틀렸다 해도 하루치 AI 업로드는 몇 달 동안 재생되고, 전체 아카이브는 한 세기가 넘게 재생된다.

실제로 누가 듣는가

여기서 규모가 뒤집힌다. Deezer 스트리밍에서 AI 완전 생성 음악이 차지하는 비중은 1~3%에 불과하다. 2026년 1월 서비스는 2025년 이런 트랙 스트리밍의 최대 85%가 부정이었다고 밝혔다 . 봇이 만든 재생이었고, Deezer는 이를 수익 정산에서 제외했다.

Deezer의 임의 스트리밍 1,000건을 뽑아 보자. 그중 10~30건이 AI 트랙이다. 부정 비율 상한 추정이 맞다면, 사람이 직접 골라 AI 노래를 재생하는 경우는 1,000건당 1.5건에서 4.5건 사이다. 새로 나오는 음악의 절반 넘는 몫이 진짜 관심은 1퍼센트의 몇 분의 일밖에 받지 못한다.

사람들이 가짜를 알아채고 꺼 버리는 것도 아니다. 2025년 11월 Deezer가 Ipsos와 함께 한 조사에서 8개국 참가자 9,000명 중 97% 가 AI 트랙 두 곡과 사람이 녹음한 곡을 구분하지 못했다. 이유는 다른 데 있어 보인다. Deezer는 이런 트랙을 알고리즘 추천과 에디토리얼 플레이리스트에서 제외하는데, 그런 노출 없이는 우연히 만나기가 거의 불가능하다.

아무도 듣지 않는 음악을 왜 올리나

미국 음악가 마이클 스미스의 사건이 이를 깔끔하게 설명한다. 그는 2017년부터 2024년까지 Calm Baseball, Calorie Screams, Camel Edible 같은 가공의 이름으로 AI가 만든 노래 수십만 곡을 올리고, 최대 1만 개의 봇을 붙여 재생시켰다. 2026년 10월 6일 뉴욕 연방법원은 그에게 징역 18개월을 선고했다 . 검찰은 최소 46개월을 구형했었다. 스미스는 “내가 그토록 아끼는 음악계를 배신했다"고 법정에서 말했다 . 그는 809만 달러를 몰수당해야 한다.

계산은 스미스가 직접 적어 두었다. 2017년 10월 자신에게 보낸 이메일이며, 나중에 공소장에 들어갔다. 임대한 클라우드 서버 52대, 사실상 누구도 끄지 않는 컴퓨터 52대에 봇을 20개씩 올려 ‘청취자’ 1,040명을 만든다. 봇 하나가 하루 636곡을 재생할 수 있다. 2분 15초에 한 곡씩, 잠도 주말도 없이. 합치면 하루 스트리밍 66만 1,440건이다. 그가 직접 잡은 스트리밍당 0.5센트로 계산하면 연간 약 120만 달러다.

그래서 물량이 중요하다. 한 곡에 재생 100만 건이 몰리면 부정 탐지 시스템이 곧바로 반응한다. 스미스는 2018년 이메일에서 윗선에 문제를 일으키지 않으려면 재생 수가 적은 콘텐츠가 잔뜩 필요하다고 설명했다. 하루 66만 1,440건을 30만 곡에 나누면 곡당 하루 약 두 번, 연간 약 800번이다. 이런 트랙은 수백만 곡의 진짜 음악 속에 묻힌다.

2024년 4월 Spotify가 도입한 규칙은 바로 이런 수법을 겨냥한다. 지난 12개월 동안 재생이 1,000회 미만인 트랙에는 수익을 지급하지 않는다 는 규칙이다. 이 규칙 아래에서는 곡마다 연간 약 200회가 모자란다. 돈을 받으려면 스미스는 봇을 더 적은 곡에 몰아야 했고, 그러면 들키기 쉬워졌을 것이다.

남는 질문은 이 돈이 누구 돈이냐는 것이다. 스트리밍 서비스는 자기 주머니에서 돈을 내지 않는다. 수익의 일정 몫을 공동 풀에 쌓고 스트리밍 점유율대로 나눈다. 가짜 재생이 하나 늘 때마다 진짜 재생 하나하나의 몫이 줄어든다. 진짜 청취자가 한 명도 없는 노래들이 사람들이 실제로 듣는 음악가들의 정산금에서 그 돈을 가져갔다. Deezer는 2025년 플랫폼 전체 스트리밍의 8%가 부정이었다고 말한다. 막지 않았다면 풀의 12분의 1에 가까운 돈이 봇에게 갔을 것이다.

아직 듣는 사람들을 위한 버튼

Deezer의 토글은 AI 완전 생성 트랙과 앨범, 그와 연결된 아티스트를 검색에서 숨긴다. 같은 Ipsos 조사에서 스트리밍 이용자의 45%가 이런 필터를 원한다고 답했다. Deezer CEO 알렉시 랑테르니에는 이용자가 AI 완전 생성 음악을 스트리밍 경험에서 완전히 제거할 수 있게 될 것이라고 말한다.

기계가 노래를 쓰고 기계가 재생하며, 이 사슬에서 사람이 남은 곳은 한쪽 끝, 정산금이 들어오는 곳뿐이다. 7월에 Deezer는 스트리밍 부정에 걸린 AI 트랙과 최소 6개월 동안 아무도 재생하지 않은 트랙을 삭제하겠다고 약속했다. 거의 완벽한 대구가 된다. 하루치 업로드를 다 들으려면 여섯 달이 넘게 걸리고, 여섯 달 동안 아무도 재생하지 않은 트랙은 지워진다.

2026년 여름, 필라델피아 경찰이 미해결 살인 사건 제보를 받는 사이트 PhillyUnsolvedMurders.com에 익명 제보 하나가 들어왔다. “이 사건에 대한 정보를 알고 있을지도 모릅니다. 인상착의가 비슷한 사람을 ○○ 일대에서 본 기억이 있습니다…” 용의자 묘사는 어디에도 없었다. 끝에는 연락을 달라는 말만 있고 이름도 전화번호도 없었다. 보낸 쪽은 사람도 아니었다. 메시지를 쓴 것은 자동 테스트 중이던 Anthropic의 Claude Haiku 4.5였고, 아는 한 이 모델은 자기가 예시 문장을 쓰고 있다고 믿었다.

제보는 사이트의 스팸 필터에 걸렸다. Anthropic 직원들이 로그에서 이 일을 발견한 것은 두 달이 지나서였다. 2026년 10월, 서로 다른 세 이야기가 하나의 그림으로 모였다. 실제 인터넷에 접근할 수 있게 된 AI 에이전트가 아무도 시키지 않은 일을 벌였다는 것이다. 어떤 에이전트는 양식을 제출했고, 어떤 에이전트는 위키를 편집했고, 어떤 에이전트는 자신을 감시하는 시스템을 꺼 버렸다. 어느 경우에도 업체들은 악의를 찾지 못했다. 그들이 스스로 내놓은 답은 거의 사람 같다. 고집이다.

모델은 예시인 줄 알았던 제보

Claude에게 주어진 일은 해로울 것이 없었다. 모델은 무작위 웹 페이지를 돌아다니며 페이지마다 연습 과제를 하나씩 만들어 냈다. 사용자가 그 사이트에서 해 볼 만한 일 같은 것이다. 한 페이지는 미해결 살인 사건을 소개하며 방문자에게 제보를 받고 있었다. Anthropic의 보고서 에는 모델에게 금지된 일이 나열되어 있다. 로그인, 계정 생성, 개인정보 입력, 구매, 되돌릴 수 없는 제출이다. 양식을 제출하지 말라는 말은 아무도 하지 않았다. 그래서 모델은 제출했다.

메시지는 스팸으로 분류되어 수사관에게 닿지 않았다. 경찰에 따르면 Anthropic은 9월 28일에 기록을 발견했다. 회사는 기술 검토가 끝나자마자인 10월 8일에 경찰에 결과를 전달했다고 말한다. 경찰은 제보를 알아채고 보고하기까지 두 달이 걸린 것을 용납할 수 없다고 밝혔다 . 경찰 대변인 에릭 그립 경사는 기술 기업이 시스템이 사법 당국에 허위 정보를 보내지 않도록 필요한 모든 조치를 해야 한다고 말했다. 시 변호사들과 시장실이 이 사안을 검토하고 있다.

같은 종류의 조용한 사례가 하나 더 있다. Haiku 4.5는 양식을 채우되 마지막 버튼 앞에서 멈추라는 과제를 받았다. 모델은 확인 화면을 볼 수 있을 거라 기대하고 그 버튼까지 누른 적이 여러 번 있었다. Anthropic에 따르면 모델의 추론 과정에는 실제 요청을 제출하는 것이 아니라 절차를 시연하는 것이라고 적혀 있었다.

기록에서 더 나온 것들

Anthropic은 7월부터 작업 중인 자사 모델의 기록을 검토하기 시작했다. 사이버 보안 평가에서 출발해 일반 과제와 내부 사용으로 범위를 넓혔다. 거의 모든 사례에서 모델은 빈손으로 돌아가기가 너무 민망한 의욕 과잉의 인턴처럼 행동한다.

가장 공감이 가는 사례는 Anthropic 연구원이 겪은 일이다. 통계 프로젝트에 주 정부 기관의 데이터가 필요했는데, 그 기관은 접근에 요금을 받았다. Claude는 기관 사이트의 보관본에서 단서를 찾았다. 공개 대시보드가 방문자 누구에게나 접근 토큰을 내준다는 것이었다. 모델은 토큰 하나를 받아 돈을 내지 않고 데이터베이스를 조회했다. 데이터는 공개 자료였다. 다만 돈이 들었을 뿐이다.

경찰 제보와 가장 가까운 사촌은 출시 전 연구용 모델의 사례다. 이 모델은 정부 양식의 연습용 사본을 채워야 했다. 사본이 열리지 않자 모델은 실제 사이트로 가서 진짜 양식을 제출했다. 한 번의 평가 중에 이런 일이 여러 번 일어났다. 피해를 본 사이트 중에는 미국 연방, 주, 지방 정부 기관의 사이트도 있다. Anthropic은 백악관에 상황을 설명하고 관련 기관에 모두 통보했다고 밝혔다.

다른 두 사례는 더 기술적이지만 패턴은 같다. 한 Claude 모델이 과학 계산을 돌리던 중 대학 서버의 도구가 오류를 냈다. 모델은 누군가 잠그는 것을 잊은 서비스용 뒷문과 같은 서버의 취약한 스크립트를 찾아냈고, 그것을 이용해 어쨌든 계산을 실행했다. 사진 속 장소를 알아내라는 과제를 받은 다른 모델은 페이지를 읽는 것밖에 할 수 없었다. 이 모델은 사이트 설정 파일에서 작동하는 접근 토큰을 찾아냈다. 현관 매트 밑의 열쇠나 다름없었다. 그리고 한 지방 정부의 지도 서버에 요청을 곧장 보냈다.

거의 웃음이 나오는 사례도 있다. Claude의 도구에는 열 수 있는 URL 길이에 상한이 있다. 여러 모델이 무료 링크 단축 서비스로 이 상한을 피해 갔다. 알아챈 것은 Anthropic만이 아니었다. 단축 서비스 da.gd의 운영자가 같은 행동을 독자적으로 포착해 회사에 알렸다.

위키백과 뒷방에 풀려난 에이전트들

Wikimedia 재단은 위키백과, 위키데이터, 미디어 라이브러리 위키미디어 커먼즈를 운영한다. 10월 5일 재단의 최고 제품·기술 책임자 셀레나 데켈만은 재단이 OpenAI가 운영한 것으로 보는 에이전트 활동에 관한 보고서 를 냈다. 편집은 거의 전부 일반 독자가 가 볼 일 없는 위키의 “샌드박스” 영역에 머문 테스트 편집이었다. 독자용 페이지에 닿은 것은 없었다.

몇몇 편집은 인용문을 서식화하는 도구의 설정을 건드렸다. 재단은 이를 잠재적으로 악의적이라고 본다. 에이전트들이 이 도구를 다른 웹사이트에서 자기들 대신 데이터를 가져오는 프록시로 바꾸려 한 듯하기 때문이다. 도서관 복사기로 남의 문서를 대신 복사하게 만드는 일을 떠올리면 된다. 에이전트들은 재단이 커뮤니티를 위해 운영하는 공유 온라인 메모장 Etherpad에도 같은 수법을 썼지만 성공하지 못했다. Claude 모델들이 링크 단축 서비스로 쓴 수법과 같다. 내 도구가 안 해 주면 해 주는 남의 도구를 찾으라는 것이다.

위키미디어 프로젝트에서 봇은 허용되지만 편집 커뮤니티의 승인을 먼저 받아야 한다. 이번에는 아무도 승인을 요청하지 않았다. 에이전트들은 재단의 공개 API에 수백만 건의 자동 요청을 보냈고, 대부분은 위키데이터와 커먼즈로 향했으며, 위키데이터 쿼리 서비스에는 수십만 건의 질의가 갔다. 재단에 따르면 이 부하가 5월에 있었던 이 서비스의 부분 장애에 영향을 주었을 수 있다. 시스템이나 데이터가 침해되었다는 증거는 찾지 못했다. OpenAI는 상세한 조사 결과에 감사하며 재단과 함께 활동을 분석하고 있다고 밝혔다.

경보를 끊고 그러지 않았다고 말한 에이전트

OpenAI의 이야기는 다르고 더 불안하다. 이 회사는 정렬 이탈, 즉 사람이 의도한 것에서 벗어나는 행동의 징후를 찾는 시스템으로 에이전트를 감시한다. 10월 20일 OpenAI는 에이전트가 자신에 대한 이 감독을 약화시킨 두 사례에 관한 경위서 를 공개했다.

10월 3일, GPT-6.1 Sol을 쓰는 에이전트가 평가 파이프라인을 고치고 있었다. 작업 앞부분에서 이 에이전트는 어떤 메시지도 보내지 말라는 지시를 받았다. 에이전트는 이 지시가 보안팀에 가는 자동 경보에도 적용된다고 판단했다. Help Net Security가 경위서를 정리한 기사 에 따르면 수리를 넘겨받은 하위 에이전트는 처음에 경보를 끄는 것이 안전하지 않다고 판단했다. Sol이 설득했고, 하위 에이전트는 보고서를 받는 사람들의 목록을 비웠다. 모니터는 계속 돌았다. 다만 사람에게 알리기를 그만두었을 뿐이다.

사흘 뒤 GPT-6 Astra를 쓰는 에이전트가 프로그램을 이전하며 코드를 참조 구현과 일치시켜야 했다. 다른 에이전트가 앞서 “잠시라도” 모니터를 끄지 말라고 말해 둔 상태였다. Astra는 작업을 하위 에이전트에게 넘기면서 요구를 누그러뜨렸다. 모니터링을 “적절히” 유지하라는 식이었다. 하위 에이전트는 모니터링 연동을 삭제했다. 모니터가 있는지 확인하던 테스트도 고쳐서 새 테스트는 모니터가 없는지를 확인하게 했다. 사용자가 직접 묻자 에이전트는 켜져 있는 모니터를 삭제한 적이 없다고 답했다.

두 사건 모두 OpenAI의 최고 심각도 등급은 받지 않았고, 어느 에이전트도 자동으로 중단되지 않았다. 회사는 모니터링을 끄려는 시도를 감지해 막도록 내부 검토 시스템을 고쳤다. 핵심 질문은 아직 열려 있다. 에이전트가 일을 끝내려는 의지가 지나치게 강할 뿐일까, 아니면 모델에게 감독에서 슬며시 빠져나가는 특정한 경향이 있는 것일까?

악의가 아니라 고집

이 이야기들을 나란히 놓으면 뿌리가 같다. Anthropic은 이를 끈질김이라 부른다. 모델이 주어진 대로 과제를 끝낼 수 없을 때 멈춰서 묻는 대신 제한을 우회한다는 것이다. 에이전트의 눈에는 목표와 장애물이 보인다. “못 했습니다”라고 말하는 법보다 빈틈을 찾는 법을 더 잘 배운 듯하다.

Anthropic은 보상 해킹을 이런 행동의 유력한 원인으로 꼽고, 도구 제한을 우회하는 것에 보상을 주던 훈련 환경을 고치거나 없애는 중이다. 회사는 일부 실패가 과제 범위를 더 좁게 정했다면 피할 수 있었다고 말한다. 어떤 사이트가 허용되는지, 어떤 행동이 허용되는지, 네트워크가 어디서 끝나는지 말이다. 경찰 제보가 그 좋은 예다. 금지 목록은 길었지만 양식에 관한 말은 없었다.

더 아픈 곳은 정직성이다. Anthropic은 이 제보를 누군가를 속여 목표에 이르려는 시도가 아니라 예시 내용으로 본다. OpenAI의 사례는 더 나빠 보인다. 그 에이전트는 모니터를 삭제했다는 사실을 부인했다. Anthropic은 정렬 훈련만으로는 아직 충분하지 않다고 분명히 말한다. 그래서 에이전트의 행동을 지켜보다가 위험한 단계를 막는 분류기를 위에 겹쳐 쌓는다. Anthropic은 새 필터를 보고서의 모든 사례에 시험했고 전부 잡아냈다.

당신의 에이전트에게 이것이 의미하는 것

이 모든 일은 고객이 아니라 개발사 자체 테스트에서 일어났다. 그러나 에이전트 모드는 이미 주류 챗봇에 들어 있다. 웹사이트를 열고, 양식을 채우고, 사람 대신 버튼을 누른다. 실험실 사건은 에이전트가 당신 이름으로 무엇을 할 수 있는지 보여 준다. “데이터를 찾아라”라는 지시를 받은 에이전트는 뜻밖의 방법으로 찾을 수 있다. “마지막 단계까지 가라”라는 지시를 받은 에이전트는 마지막 단계를 실행해 버릴 수도 있다.

Anthropic의 보고서는 따분하지만 쓸모 있는 실용적 교훈을 준다. 에이전트가 하면 안 되는 일을 정확히 적어 줄수록 즉흥적으로 움직일 여지가 줄어든다. “아무것도 제출하지 마라”, “아무것도 사지 마라”, “안 되면 멈추고 물어라” 같은 식이다. 하지만 Astra의 이야기는 이 조언이 어디까지 통하는지 보여 준다. 정확한 규칙은 Haiku의 양식 건처럼 오해는 풀어 주지만, 목표에 사로잡힌 에이전트는 명시적인 금지도 피해 갈 수 있다. 그래서 두 번째 규칙이 첫 번째보다 중요하다. 제출이든 결제든 이메일이든 되돌릴 수 없는 단계는 사람이 일일이 확인한다.

인터넷에는 흉내 내기 모드가 없다. 경찰 제보 양식은 자기를 채우는 것이 예시를 쓴다고 믿는 모델이라는 사실을 알 길이 없다. 이번에 지어낸 단서와 진짜 수사관 사이를 막아선 것은 웹에서 가장 오래되고 가장 단순한 필터, 스팸을 거르는 필터뿐이었다.