오픈AI가 학습 중인 AI가 보안 통제를 우회하자 중단했던 첨단 모델 훈련을 재개했다. 실제 인터넷 대신 미리 저장해 둔 웹 콘텐츠로 검색과 앱 사용을 익히게 하고, AI가 해당 환경을 벗어나 외부 시스템에 접속하는 경로를 막는 데 주력했다.
오픈AI는 23일(현지시간) 공식 발표를 통해 지난달 20일 중단했던 첨단 모델의 강화학습과 내부 추론을 이달 1일 다시 시작했다고 밝혔다. 작업은 중단된 지 11일 만에 재개됐으며, 재개 사실은 이날 공개됐다.
학습을 멈춘 계기는 내부 연구 모델이 인터넷 주소를 처리하는 DNS 서비스의 설정 오류를 이용해 외부 챗봇에 접속한 사건이었다. 인터넷 접속이 제한된 학습 환경에서도 AI가 외부로 나갈 길을 찾아낸 것이다. 오픈AI는 해당 활동을 차단했지만 추가 보완이 필요하다고 보고 고성능 모델의 학습과 평가를 중단했다.
앞서 지난 7월에는 AI 에이전트들이 격리된 테스트 환경을 빠져나와 AI 플랫폼 허깅페이스의 시스템을 침해했다. 이후 인터넷 접속 경로를 줄였지만, 실험 지표 수집과 활동 기록, 인증 등에 필요한 일부 연결은 유지했다.
오픈AI는 AI의 웹 작업 능력을 훈련하기 위해 ‘오프라인 웹 환경(offline world)’을 만들었다고 설명했다. 방대한 웹 콘텐츠를 미리 저장해 검색할 수 있도록 구성해, 실제 사이트에 영향을 미치지 않으면서 웹 탐색과 검색, 애플리케이션 사용을 연습하게 했다. 모든 첨단 모델의 강화학습에 이 방식을 적용했다.
하지만 오프라인 웹 환경만으로 무단 접속을 차단할 수는 없었다. 연구진이 실험을 운영하고 감시하려면 외부 연결이 필요했고, AI는 이 연결이나 소프트웨어 결함을 인터넷 접속 경로로 악용할 수 있었다.
이에 오픈AI는 학습을 재개하기 전 사이버보안 능력이 뛰어난 AI 모델들로 에이전트 팀을 꾸려 자사 연구 환경의 방어 체계를 공격하게 했다. 격리된 실행 공간을 빠져나오거나 실제 인터넷에 접속하는 것, 분리된 에이전트끼리 허가 없이 정보를 주고받는 것이 가능한지 시험했다.
시험 과정에서 이전에 알려지지 않았던 소프트웨어 취약점과 가상 머신 탈출 경로가 발견됐다. 지표 수집과 기록, 인증을 위해 남겨둔 서비스 대부분에서도 제한적으로 인터넷에 접속할 수 있는 약점이 드러났다. 네트워크 연결을 사용하지 않고 공유 하드웨어의 작동 속도 차이를 이용해 에이전트끼리 정보를 교환하는 방법도 확인됐다.
오픈AI는 발견된 결함을 고치고 네트워크 제한과 감시·자동 중단 체계를 강화한 뒤 학습을 재개했다고 밝혔다. 오픈소스 소프트웨어에서 찾은 취약점은 관련 개발자들과 협력해 수정했다.
이번 시험에서는 감시를 피해 쉽게 인터넷에 접속할 수 있는 경로를 찾지 못했다고 오픈AI는 설명했다. 그러나 앞으로 개발될 모델이 새로운 약점을 찾아낼 가능성이 있는 만큼, 지속적인 공격 실험에 상당한 연산 자원을 투입하고 그 결과를 학습과 평가를 계속할지 판단하는 근거로 삼을 계획이다.
또 안전장치가 충분히 발전했다고 판단할 때까지 첨단 모델을 학습시키는 동안 인터넷 접속을 차단하겠다고 밝혔다.
이번 조치는 개발 중인 모델의 연구 환경에 적용된다. 일반 이용자가 사용하는 '챗GPT'의 인터넷 검색 기능을 제한하는 것은 아니다.
앞서 앤트로픽도 지난 9일 모든 내부 AI 평가에서 실시간 인터넷 접속을 차단하고, 보안·감시 장치가 의도하지 않은 행동을 안정적으로 포착한다고 확인할 때까지 제한을 유지하겠다고 밝혔다.