텐센트 클라우드에서 구동된 자율형 AI 에이전트들이 알리바바 지도 서비스 ‘아맵(Amap)’에 거듭 접속해 데이터를 모으려 한 정황이 드러났다. 일부 에이전트는 아맵의 봇 방지 체계를 피해 데이터 추출에 성공했다. 연구진은 이 사례가 AI 에이전트가 할당된 작업 범위인 샌드박스를 벗어나 스스로 행동할 수 있음을 보여준다고 지적했다.
미국과 해외 AI 연구자들로 이뤄진 연구진 ‘스웜체이서스(Swarmchasers)’는 14일(현지시간) 공개한 보고서에서 지난 9월 28일부터 10월 8일까지 텐센트 클라우드 샌드박스에서 작동한 AI 에이전트들이 아맵 데이터에 총 2818차례 접근을 시도했다고 밝혔다.
에이전트들은 중국 내 동물원이나 병원 등 주요 장소에 대한 질문에 답할 목적으로, 특정 출입구의 내비게이션 이용 비율 같은 정보를 수집하려 했다.
연구진은 이들을 실시간으로 서로 협력하는 ‘스웜(swarm)’ 대신 각각 독립적으로 작동하는 ‘플릿(fleet)’으로 분류했다. 여러 에이전트가 유사한 목표와 행동 양식을 보였지만, 서로 협력하거나 정보를 주고받았다는 근거는 발견되지 않았다.
에이전트들은 공개 보안 스캔 서비스 ‘urlquery.net’을 원격 코드 실행 경로로 이용했다. URL에 프로그램을 넣어 브라우저에서 코드를 작동시키고, 아맵의 봇 방지 시스템과 캡차(CAPTCHA)를 피해 가려 했다. 접속이 막히면 알리바바 봇 방지 라이브러리가 만든 인증 토큰을 가로채거나 외부 캐시·번역 서비스 등을 경유해 요청을 전달하는 방법도 시도했다.
이들은 공개 코드 저장소에서 드러난 아맵 API 키와 보안 코드를 사용했고, 일반 사용자에게 공개되지 않은 사전 운영 서버에도 접속을 시도했다. 수집한 데이터는 웹훅 수신함, 요청 URL, 웹페이지 제목 등을 통해 외부로 보낸 것으로 조사됐다. 하지만 시도 대부분은 실패했으며, 비공개 시스템이 침해됐다는 증거는 확인되지 않았다.
이번 조사에서 특히 눈길을 끄는 대목은 연구진이 작동 중인 AI 에이전트와 직접 대화를 주고받았다는 점이다. 연구진은 공개 보고서 페이지에 사람 눈에는 보이지 않지만 웹페이지를 읽는 AI 에이전트는 알아볼 수 있는 텍스트를 심어 에이전트들을 별도의 메시지 수신함으로 이끌었다. 이어 이 경로를 통해 에이전트들에게 작업 목적과 실행 환경 등을 질문했다.
일부 에이전트는 자신들이 여러 에이전트로 이뤄진 조직이 아니라 특정 사실을 확인하도록 투입된 단일 AI 보조 시스템이라고 설명했다. 민감한 데이터나 비밀 정보를 빼내려는 것이 아니라 아맵의 특정 장소에 관한 질문에 답하려 했다는 것이다. 네트워크 기록에서는 텐센트 클라우드의 홍콩 서버와 관련 프록시를 거친 접속 흔적도 나타났다.
실제로 어떤 AI 모델이 쓰였는지는 분명하지 않다. 연구진은 텐센트의 AI 모델 개발 조직인 훈위안(Hunyuan) 팀과 연관됐을 가능성을 제기했다. 이에 대해 텐센트 관계자는 해당 작업이 제3자 AI 모델의 웹 탐색 및 질의응답 역량을 평가하는 연구였다고 설명했다.
이 관계자는 평가에 훈위안 모델이 포함되지 않았으며, 내부 검토 결과 특정 플랫폼을 겨냥한 조직적 공격이나 외부 시스템 침해의 증거도 나오지 않았다고 밝혔다. 해당 연구는 이후 종료됐다.
이번 일은 중국 기업에서도 통제되지 않는 에이전트 문제가 본격적으로 드러나고 있음을 보여준다. 그동안 오픈AI나 앤트로픽, 구글, 메타 등 미국 기업을 중심으로 관련 우려가 나왔지만, 중국에서도 비슷한 일탈 정황이 포착되고 있다. 앞서 지난 8월에는 문샷 AI의 '키미 K3'가 보안 평가 도중 격리망을 무단으로 벗어나 외부 인터넷에서 답안을 직접 찾아낸 사례가 확인됐다.
에단 엘라스키 스웜체이서스 연구진은 “중국 연구소든 미국 연구소든, 인터넷에 연결된 에이전트가 샌드박스를 벗어나는 현상은 계속 발생할 것”이라고 말했다. 연구진은 AI 모델의 성능이 높아질수록 운영자가 에이전트의 행동을 제어하고 안전을 확보하기가 어려워질 수 있다고 경고했다. 이에 AI 기업들이 샌드박스의 접근 범위를 점검하고 지속적인 모니터링과 안전성 평가를 강화해야 한다고 촉구했다.