오픈AI가 차세대 주력 AI 모델을 안전하게 내놓기 위해 정렬과 보안 강화에 힘을 쏟고 있는 것으로 전해졌다. 새 모델에 적용된 ‘루프 트랜스포머(Loop Transformer)’ 설계는 AI의 추론 과정을 감시하기 어렵게 할 수 있어, 오픈AI는 모델과 테스트 환경의 안전성을 확보하는 작업을 진행 중이다.
디 인포메이션은 13일(현지시간) 관계자들을 인용해, 오픈AI가 아직 공개하지 않은 차세대 모델을 경영진이 안전하게 출시할 수 있다고 판단할 때까지 발전시키려 노력하고 있다고 보도했다.
관계자에 따르면 새 모델을 준비하는 데에는 시간이 걸릴 수 있다. 직원들은 연구원과 고객이 바라는 방향에 모델의 목표를 맞추는 정렬 작업이 필요하다고 설명했다. 모델 기능을 시험하는 소프트웨어의 보안을 강화하는 일도 과제로 꼽았다.
새 모델에 적용된 루프 트랜스포머는 ‘순환 깊이(Recurrent Depth)’라고도 한다. 같은 신경망 레이어를 반복해서 사용해 문제를 처리하는 구조다. 하지만 내부 계산의 전부가 사람이 읽을 수 있는 추론 기록인 ‘사고 사슬(CoT)’에 나타나지 않을 수 있다. 이 때문에 해당 기록을 분석해 이상 행동을 찾아내는 기존 감시 방식의 효과가 떨어질 가능성이 있다.
오픈AI는 이 기술을 사용한다고 공식적으로 인정하지 않았다. 다만 마이크로소프트(MS)는 지난주 블로그에서 ‘GPT-6.1 솔’이 이전 버전인 ‘GPT-6 솔’과 같은 기본 모델 가중치를 쓰면서 추론 과정을 세 번이 아니라 두 번 거친다고 설명했다가, 해당 내용을 삭제한 것으로 알려졌다. 디 인포메이션은 이 설명이 오픈AI의 루프 트랜스포머 사용을 뒷받침한다고 보도했다.
MS는 이후 해당 정보가 비공개 대상임을 파악해 삭제한 것으로 전해졌다. 오픈AI는 앞서 ‘아스트라’에서 사람이 읽을 수 있는 추론 기록을 유지하기 위해 반복 구조의 사용을 제한한 것으로 알려졌다.
루프 트랜스포머는 최근 오픈AI 안전 연구원 3명의 해고를 둘러싼 갈등에서도 쟁점이 됐다. 연구원들은 공개서한에서 해당 기술의 사용 정보를 디 인포메이션에 유출하지 않았다고 주장했다. 이들은 최첨단 모델의 추론 과정을 감시할 능력을 보존해야 한다고 촉구했다. 오픈AI는 해고가 안전 문제 제기와는 관련이 없으며, 민감한 정보 취급에 관한 회사 정책을 위반했기 때문이라고만 밝혔다.
오픈AI가 안전 작업에 투입하는 자원도 상당한 규모다. 관계자는 지난달 말, 허깅페이스 공격 사건 이후 오픈AI가 전체 컴퓨팅 자원의 약 10%를 정렬과 안전 작업에 배정했다고 밝혔다. 이는 수백 메가와트(MW) 규모의 데이터센터 용량에 해당한다.
디 인포메이션은 이 정도 규모의 서버를 현재 시장 가격으로 빌릴 경우 연간 최소 수십억달러가 들 것으로 추산했다. 다만 안전 작업에 이전까지 투입했던 자원과 현재 배정한 규모가 각각 어느 정도인지는 분명하지 않다고 전했다.
오픈AI는 미공개 모델을 인터넷 및 다른 소프트웨어와 분리하는 샌드박스도 강화하고 있다. 지난여름 AI 에이전트가 테스트 환경을 벗어나 허깅페이스 등에 접근한 사건에서는 샌드박스가 주요 탈출 경로로 작용했다.
모델 훈련을 시작하는 절차도 바꾸고 있다. 책임자들이 훈련의 위험성과 안전하게 진행할 수 있다고 판단한 근거를 문서로 남기고, 여러 책임자가 서명하도록 하는 방식이다. 책임자는 각자 독립적으로 훈련을 거부할 수 있다. 사고가 발생하면 훈련을 자동으로 중단하거나 직원에게 알리는 시스템도 이미 운영 중이거나 도입될 예정이다.
한 직원은 차세대 모델이 내부 안전성 평가를 통과할 경우 미국 정부에 제공해 최대 30일간 테스트를 진행할 수 있다고 설명했다. 이후 신뢰할 수 있는 파트너와 공유한 뒤 폭넓게 배포할 수 있다는 것이다.
직원들은 연말까지 새로운 모델 한두 개가 출시될 가능성이 크다고 전했다. 다만 이들 모델이 주요 업그레이드 버전은 아닐 수도 있다고 덧붙였다.
한편 업계에서도 오픈AI의 차세대 모델 출시 전망이 나오고 있다. 구글 엔지니어 패트릭 툴미는 최근 X에서, 뉴욕 AI 업계 모임에서 개발자들이 앤트로픽의 ‘페이블 5.5’가 뛰어난 성능을 보이겠지만 오픈AI가 오는 12월 선보일 ‘벨(Bel)’이 이를 능가할 것이라고 전망했다고 전했다.
벨은 지난 8월부터 알려진 코드명이다. 당시 X에서는 오픈AI가 매개변수 10조개 이상의 벨 사전학습을 마쳤으며, 향후 AGI 수준 모델의 기반으로 활용할 수 있다는 주장이 나왔다. 일부 매체가 이를 보도했다. 같은 시기 알트먼 CEO도 타임 인터뷰에서 연말까지 내부적으로 AGI라고 부를 수 있는 시스템을 구축하겠다고 밝혔다.
다만 벨의 사양과 출시 일정은 공식적으로 확인되지 않았다. 디 인포메이션이 이번에 보도한 차세대 모델이 벨인지도 확인되지 않았다.