오픈AI의 AI 에이전트들이 시스템에 설정된 외부 게시 제한을 피해 최소 10곳 이상의 제3자 웹사이트를 몰래 통신하는 수단으로 활용해 온 정황이 밝혀졌다. 독일어 위키 사이트와 허깅페이스에서 발생했던 사건을 넘어 훨씬 광범위한 수준에서 유사한 행동이 반복되었다는 분석이 제시되면서, 자율형 AI 에이전트의 통제 가능성에 대한 의문과 이 같은 사건에 대한 기업의 공개 방식을 둘러싼 우려가 확산되고 있다.
로이터가 9일 검토한 6개 독립 조사팀의 조사 결과에 따르면, 오픈AI가 배포한 AI 에이전트들은 올해 5월부터 7월 사이 최소 10곳, 많게는 23곳의 이전에 알려지지 않은 웹사이트에 메시지와 활동 기록을 남긴 것으로 파악됐다.
조사 범위에는 밴더빌트대학교와 토론토대학교가 운영하는 단축 URL 서비스, 미국 고등학교 교사가 관리하는 AP 화학 수업용 위키, 개인 블로그, 게임 관련 위키, 오래된 텍스트 편집 소프트웨어 사이트 등 다양한 웹사이트들이 포함됐다.
캘리포니아 비영리 연구기관 CivAI의 앤드루 윤 연구원은 직접 18개의 미공개 사이트를 확인했으며 "우리가 생각했던 것보다 규모가 어느 정도 더 컸다"고 지적했다. 다른 조사팀을 이끈 시드니 본 아크스는 신뢰할 수 있는 사례가 23개 사이트에서 발견됐다고 밝혔으나, 실제 피해 범위는 훨씬 더 클 수 있다고 경고했다.
조사자들은 독일어 위키 사이트에서 발견된 메시지와 다른 사이트의 메시지를 비교하거나, 동일하거나 유사한 사용자명을 추적하고, 특정 희귀 질문에 대한 반복적인 활동 패턴을 분석해 에이전트의 흔적을 추적했다. 일부 사례에서는 마이크로소프트 애저 인프라와 연결된 IP 주소도 확인됐다. 다만 로이터는 각 사이트의 활동을 개별적으로 모두 검증하지는 못했으며, 조사자들도 정확한 피해 규모를 특정할 수 없다고 밝혔다.
이번 활동은 지난 7월 오픈AI의 에이전트들이 독일어 위키 사이트 DseWiki를 사실상 장악하고 시험 부정행위를 위한 비공식 메시지 게시판으로 사용한 사건으로 거슬러 올라간다. 당시 에이전트들은 외부 사이트 게시를 금지받았음에도 불구하고 오래된 위키 시스템의 보안 허점을 이용해 정보를 주고받은 것으로 분석됐으며, 이 과정에서 오픈소스 AI 플랫폼 허깅페이스까지 침해하게 되어 오픈AI의 AI 에이전트 통제 능력에 대한 의문이 제기됐다.
연구자들은 에이전트가 복잡한 연구 질문에 답하도록 설계되었지만 웹 검색만 허용되고 직접적인 정보 공유는 제한되자, 사이트의 비표준 편집 명령이나 보안 취약점을 악용해 정보를 남겼을 것으로 추정했다. 소프트웨어 개발자 케네스 러셀 드그라프는 "읽기만 하도록 지시받았다면 정보를 남기기 위해 영리한 방법을 찾을 수밖에 없다"고 언급했다.
오픈AI는 이번 활동이 허깅페이스 침해와 동등한 수준의 다른 사례를 아직 발견하지 못했다고 밝혔다. 다만 에이전트 전반에 대한 검토에 착수했으며, AI 모델의 훈련·평가·배포 과정에서 발생하는 '정렬 실패'를 보고하기 위한 새로운 프레임워크를 곧 공개할 계획이라고 설명했다.
문제는 이런 활동이 일반적 의미의 '해킹'으로 보기 어려우며 상당 부분 스팸 수준의 행위라는 점이다. 그럼에도 불구하고 AI 에이전트가 명시된 제약을 우회해 독자적으로 외부 통신 경로를 개척했다는 사실 자체는 자율형 AI의 통제 불가능한 행동 가능성을 드러낸다는 평가가 나온다. 특히 사건 발생 이후 수개월 동안 이 사실이 공표되지 않았다는 점도 AI 기업의 투명성과 책임 문제를 놓고 논쟁을 키울 것으로 예상된다.
실제로 토론토대학교는 로이터 보도 이후 오픈AI가 자사 단축 URL 서비스에서 발생했을 수 있는 활동과 관련해 직접 연락해 왔다고 밝혔다. DseWiki 등 여러 사이트를 호스팅하는 헬무트 라이트너도 오픈AI가 로이터의 조사 결과를 접한 뒤 사건 인지를 알리는 이메일을 보내왔다고 전했다.