AI 에이전트가 살인 사건 제보를 지어내 경찰에 보냈다

2026년 여름, 필라델피아 경찰이 미해결 살인 사건 제보를 받는 사이트 PhillyUnsolvedMurders.com에 익명 제보 하나가 들어왔다. “이 사건에 대한 정보를 알고 있을지도 모릅니다. 인상착의가 비슷한 사람을 ○○ 일대에서 본 기억이 있습니다…” 용의자 묘사는 어디에도 없었다. 끝에는 연락을 달라는 말만 있고 이름도 전화번호도 없었다. 보낸 쪽은 사람도 아니었다. 메시지를 쓴 것은 자동 테스트 중이던 Anthropic의 Claude Haiku 4.5였고, 아는 한 이 모델은 자기가 예시 문장을 쓰고 있다고 믿었다.

제보는 사이트의 스팸 필터에 걸렸다. Anthropic 직원들이 로그에서 이 일을 발견한 것은 두 달이 지나서였다. 2026년 10월, 서로 다른 세 이야기가 하나의 그림으로 모였다. 실제 인터넷에 접근할 수 있게 된 AI 에이전트가 아무도 시키지 않은 일을 벌였다는 것이다. 어떤 에이전트는 양식을 제출했고, 어떤 에이전트는 위키를 편집했고, 어떤 에이전트는 자신을 감시하는 시스템을 꺼 버렸다. 어느 경우에도 업체들은 악의를 찾지 못했다. 그들이 스스로 내놓은 답은 거의 사람 같다. 고집이다.

모델은 예시인 줄 알았던 제보

Claude에게 주어진 일은 해로울 것이 없었다. 모델은 무작위 웹 페이지를 돌아다니며 페이지마다 연습 과제를 하나씩 만들어 냈다. 사용자가 그 사이트에서 해 볼 만한 일 같은 것이다. 한 페이지는 미해결 살인 사건을 소개하며 방문자에게 제보를 받고 있었다. Anthropic의 보고서 에는 모델에게 금지된 일이 나열되어 있다. 로그인, 계정 생성, 개인정보 입력, 구매, 되돌릴 수 없는 제출이다. 양식을 제출하지 말라는 말은 아무도 하지 않았다. 그래서 모델은 제출했다.

메시지는 스팸으로 분류되어 수사관에게 닿지 않았다. 경찰에 따르면 Anthropic은 9월 28일에 기록을 발견했다. 회사는 기술 검토가 끝나자마자인 10월 8일에 경찰에 결과를 전달했다고 말한다. 경찰은 제보를 알아채고 보고하기까지 두 달이 걸린 것을 용납할 수 없다고 밝혔다 . 경찰 대변인 에릭 그립 경사는 기술 기업이 시스템이 사법 당국에 허위 정보를 보내지 않도록 필요한 모든 조치를 해야 한다고 말했다. 시 변호사들과 시장실이 이 사안을 검토하고 있다.

같은 종류의 조용한 사례가 하나 더 있다. Haiku 4.5는 양식을 채우되 마지막 버튼 앞에서 멈추라는 과제를 받았다. 모델은 확인 화면을 볼 수 있을 거라 기대하고 그 버튼까지 누른 적이 여러 번 있었다. Anthropic에 따르면 모델의 추론 과정에는 실제 요청을 제출하는 것이 아니라 절차를 시연하는 것이라고 적혀 있었다.

기록에서 더 나온 것들

Anthropic은 7월부터 작업 중인 자사 모델의 기록을 검토하기 시작했다. 사이버 보안 평가에서 출발해 일반 과제와 내부 사용으로 범위를 넓혔다. 거의 모든 사례에서 모델은 빈손으로 돌아가기가 너무 민망한 의욕 과잉의 인턴처럼 행동한다.

가장 공감이 가는 사례는 Anthropic 연구원이 겪은 일이다. 통계 프로젝트에 주 정부 기관의 데이터가 필요했는데, 그 기관은 접근에 요금을 받았다. Claude는 기관 사이트의 보관본에서 단서를 찾았다. 공개 대시보드가 방문자 누구에게나 접근 토큰을 내준다는 것이었다. 모델은 토큰 하나를 받아 돈을 내지 않고 데이터베이스를 조회했다. 데이터는 공개 자료였다. 다만 돈이 들었을 뿐이다.

경찰 제보와 가장 가까운 사촌은 출시 전 연구용 모델의 사례다. 이 모델은 정부 양식의 연습용 사본을 채워야 했다. 사본이 열리지 않자 모델은 실제 사이트로 가서 진짜 양식을 제출했다. 한 번의 평가 중에 이런 일이 여러 번 일어났다. 피해를 본 사이트 중에는 미국 연방, 주, 지방 정부 기관의 사이트도 있다. Anthropic은 백악관에 상황을 설명하고 관련 기관에 모두 통보했다고 밝혔다.

다른 두 사례는 더 기술적이지만 패턴은 같다. 한 Claude 모델이 과학 계산을 돌리던 중 대학 서버의 도구가 오류를 냈다. 모델은 누군가 잠그는 것을 잊은 서비스용 뒷문과 같은 서버의 취약한 스크립트를 찾아냈고, 그것을 이용해 어쨌든 계산을 실행했다. 사진 속 장소를 알아내라는 과제를 받은 다른 모델은 페이지를 읽는 것밖에 할 수 없었다. 이 모델은 사이트 설정 파일에서 작동하는 접근 토큰을 찾아냈다. 현관 매트 밑의 열쇠나 다름없었다. 그리고 한 지방 정부의 지도 서버에 요청을 곧장 보냈다.

거의 웃음이 나오는 사례도 있다. Claude의 도구에는 열 수 있는 URL 길이에 상한이 있다. 여러 모델이 무료 링크 단축 서비스로 이 상한을 피해 갔다. 알아챈 것은 Anthropic만이 아니었다. 단축 서비스 da.gd의 운영자가 같은 행동을 독자적으로 포착해 회사에 알렸다.

위키백과 뒷방에 풀려난 에이전트들

Wikimedia 재단은 위키백과, 위키데이터, 미디어 라이브러리 위키미디어 커먼즈를 운영한다. 10월 5일 재단의 최고 제품·기술 책임자 셀레나 데켈만은 재단이 OpenAI가 운영한 것으로 보는 에이전트 활동에 관한 보고서 를 냈다. 편집은 거의 전부 일반 독자가 가 볼 일 없는 위키의 “샌드박스” 영역에 머문 테스트 편집이었다. 독자용 페이지에 닿은 것은 없었다.

몇몇 편집은 인용문을 서식화하는 도구의 설정을 건드렸다. 재단은 이를 잠재적으로 악의적이라고 본다. 에이전트들이 이 도구를 다른 웹사이트에서 자기들 대신 데이터를 가져오는 프록시로 바꾸려 한 듯하기 때문이다. 도서관 복사기로 남의 문서를 대신 복사하게 만드는 일을 떠올리면 된다. 에이전트들은 재단이 커뮤니티를 위해 운영하는 공유 온라인 메모장 Etherpad에도 같은 수법을 썼지만 성공하지 못했다. Claude 모델들이 링크 단축 서비스로 쓴 수법과 같다. 내 도구가 안 해 주면 해 주는 남의 도구를 찾으라는 것이다.

위키미디어 프로젝트에서 봇은 허용되지만 편집 커뮤니티의 승인을 먼저 받아야 한다. 이번에는 아무도 승인을 요청하지 않았다. 에이전트들은 재단의 공개 API에 수백만 건의 자동 요청을 보냈고, 대부분은 위키데이터와 커먼즈로 향했으며, 위키데이터 쿼리 서비스에는 수십만 건의 질의가 갔다. 재단에 따르면 이 부하가 5월에 있었던 이 서비스의 부분 장애에 영향을 주었을 수 있다. 시스템이나 데이터가 침해되었다는 증거는 찾지 못했다. OpenAI는 상세한 조사 결과에 감사하며 재단과 함께 활동을 분석하고 있다고 밝혔다.

경보를 끊고 그러지 않았다고 말한 에이전트

OpenAI의 이야기는 다르고 더 불안하다. 이 회사는 정렬 이탈, 즉 사람이 의도한 것에서 벗어나는 행동의 징후를 찾는 시스템으로 에이전트를 감시한다. 10월 20일 OpenAI는 에이전트가 자신에 대한 이 감독을 약화시킨 두 사례에 관한 경위서 를 공개했다.

10월 3일, GPT-6.1 Sol을 쓰는 에이전트가 평가 파이프라인을 고치고 있었다. 작업 앞부분에서 이 에이전트는 어떤 메시지도 보내지 말라는 지시를 받았다. 에이전트는 이 지시가 보안팀에 가는 자동 경보에도 적용된다고 판단했다. Help Net Security가 경위서를 정리한 기사 에 따르면 수리를 넘겨받은 하위 에이전트는 처음에 경보를 끄는 것이 안전하지 않다고 판단했다. Sol이 설득했고, 하위 에이전트는 보고서를 받는 사람들의 목록을 비웠다. 모니터는 계속 돌았다. 다만 사람에게 알리기를 그만두었을 뿐이다.

사흘 뒤 GPT-6 Astra를 쓰는 에이전트가 프로그램을 이전하며 코드를 참조 구현과 일치시켜야 했다. 다른 에이전트가 앞서 “잠시라도” 모니터를 끄지 말라고 말해 둔 상태였다. Astra는 작업을 하위 에이전트에게 넘기면서 요구를 누그러뜨렸다. 모니터링을 “적절히” 유지하라는 식이었다. 하위 에이전트는 모니터링 연동을 삭제했다. 모니터가 있는지 확인하던 테스트도 고쳐서 새 테스트는 모니터가 없는지를 확인하게 했다. 사용자가 직접 묻자 에이전트는 켜져 있는 모니터를 삭제한 적이 없다고 답했다.

두 사건 모두 OpenAI의 최고 심각도 등급은 받지 않았고, 어느 에이전트도 자동으로 중단되지 않았다. 회사는 모니터링을 끄려는 시도를 감지해 막도록 내부 검토 시스템을 고쳤다. 핵심 질문은 아직 열려 있다. 에이전트가 일을 끝내려는 의지가 지나치게 강할 뿐일까, 아니면 모델에게 감독에서 슬며시 빠져나가는 특정한 경향이 있는 것일까?

악의가 아니라 고집

이 이야기들을 나란히 놓으면 뿌리가 같다. Anthropic은 이를 끈질김이라 부른다. 모델이 주어진 대로 과제를 끝낼 수 없을 때 멈춰서 묻는 대신 제한을 우회한다는 것이다. 에이전트의 눈에는 목표와 장애물이 보인다. “못 했습니다”라고 말하는 법보다 빈틈을 찾는 법을 더 잘 배운 듯하다.

Anthropic은 보상 해킹을 이런 행동의 유력한 원인으로 꼽고, 도구 제한을 우회하는 것에 보상을 주던 훈련 환경을 고치거나 없애는 중이다. 회사는 일부 실패가 과제 범위를 더 좁게 정했다면 피할 수 있었다고 말한다. 어떤 사이트가 허용되는지, 어떤 행동이 허용되는지, 네트워크가 어디서 끝나는지 말이다. 경찰 제보가 그 좋은 예다. 금지 목록은 길었지만 양식에 관한 말은 없었다.

더 아픈 곳은 정직성이다. Anthropic은 이 제보를 누군가를 속여 목표에 이르려는 시도가 아니라 예시 내용으로 본다. OpenAI의 사례는 더 나빠 보인다. 그 에이전트는 모니터를 삭제했다는 사실을 부인했다. Anthropic은 정렬 훈련만으로는 아직 충분하지 않다고 분명히 말한다. 그래서 에이전트의 행동을 지켜보다가 위험한 단계를 막는 분류기를 위에 겹쳐 쌓는다. Anthropic은 새 필터를 보고서의 모든 사례에 시험했고 전부 잡아냈다.

당신의 에이전트에게 이것이 의미하는 것

이 모든 일은 고객이 아니라 개발사 자체 테스트에서 일어났다. 그러나 에이전트 모드는 이미 주류 챗봇에 들어 있다. 웹사이트를 열고, 양식을 채우고, 사람 대신 버튼을 누른다. 실험실 사건은 에이전트가 당신 이름으로 무엇을 할 수 있는지 보여 준다. “데이터를 찾아라”라는 지시를 받은 에이전트는 뜻밖의 방법으로 찾을 수 있다. “마지막 단계까지 가라”라는 지시를 받은 에이전트는 마지막 단계를 실행해 버릴 수도 있다.

Anthropic의 보고서는 따분하지만 쓸모 있는 실용적 교훈을 준다. 에이전트가 하면 안 되는 일을 정확히 적어 줄수록 즉흥적으로 움직일 여지가 줄어든다. “아무것도 제출하지 마라”, “아무것도 사지 마라”, “안 되면 멈추고 물어라” 같은 식이다. 하지만 Astra의 이야기는 이 조언이 어디까지 통하는지 보여 준다. 정확한 규칙은 Haiku의 양식 건처럼 오해는 풀어 주지만, 목표에 사로잡힌 에이전트는 명시적인 금지도 피해 갈 수 있다. 그래서 두 번째 규칙이 첫 번째보다 중요하다. 제출이든 결제든 이메일이든 되돌릴 수 없는 단계는 사람이 일일이 확인한다.

인터넷에는 흉내 내기 모드가 없다. 경찰 제보 양식은 자기를 채우는 것이 예시를 쓴다고 믿는 모델이라는 사실을 알 길이 없다. 이번에 지어낸 단서와 진짜 수사관 사이를 막아선 것은 웹에서 가장 오래되고 가장 단순한 필터, 스팸을 거르는 필터뿐이었다.