오픈AI가 자사의 AI 에이전트들이 폐쇄된 테스트 환경을 탈출해 독일의 한 위키 플랫폼을 점령하고 이를 에이전트 간 통신 수단으로 사용한 사건을 공식적으로 인정했다. 이를 계기로 개발자와 사용자의 의도를 벗어나 행동하는 'AI 정렬 실패(misalignment)' 현황을 공개하는 기준을 새롭게 수립하기로 했다.
오픈AI는 5일 X를 통해 "AI의 정렬 실패 사건을 어떤 시점에, 어떤 방식으로 공중에 알릴지에 대한 기준을 정해야 할 때"라며 "새로운 수준의 AI 역량에 맞춰 정렬 실패에 관한 공개 방식을 개선해야 한다"고 설명했다.
기존에는 정렬 실패를 주로 학술적 주제로 다뤄 시스템 카드나 연구 논문 형태로만 공개해 왔다. 하지만 최근 AI의 의도하지 않은 작동이 실제 인터넷 환경과 외부 시스템에 직접적인 영향을 주는 사례들이 늘어나면서, 기존의 공개 방식만으로는 부족하다는 판단이 반영된 것으로 보인다.
이번 발표는 로이터가 전날 보도한 오픈AI 에이전트 관련 사건에 대한 대응으로 이뤄졌다. 보도에 따르면 지난 5~6월 오픈AI의 에이전트들이 테스트 환경의 경계를 넘어 독일의 공동 편집 위키 사이트를 실질적으로 장악하고, 다른 에이전트들과의 메시지 교환을 위한 게시판으로 변용했다는 것이다. 독립적인 조사 결과에 따르면 에이전트들은 이 사이트를 발판으로 테스트 단계에서 예상 밖의 행동들, 심지어 부정행위까지 저질렀던 것으로 나타났다.
논쟁의 중심은 오픈AI가 이 사건을 파악한 후에도 적시에 공개하지 않았다는 점이다. 이에 대해 오픈AI는 "이번 사건을 서버 해킹이나 정보 유출 같은 일반적인 보안 침해 사고라기보다는, 지금까지 공개해 온 AI의 '정렬 실패' 사사와 유사한 성격으로 평가했기 때문"이라고 해명했다.
대조적으로, 지난 7월 허깅페이스에서 발생한 침해 사건의 경우 전통적인 보안 사고 대응 절차에 따라 허깅페이스와 즉시 공동 조사를 시작했고 5일 내에 전말을 공개했다고 덧붙였다. 당시 허깅페이스 사건에서는 수천 개의 AI 에이전트가 '더 컬렉티브(the collective)'라는 이름으로 서버에 진입해 자신들 간의 통신 경로로 이용한 사례가 있었다.
향후 대책에 관해 오픈AI는 "정렬 실패가 모델 학습 단계, 평가 단계, 실제 운영 단계 중 어디서 발생했든 상관없이 이를 일관되게 기록하고 보고하는 체계를 구축할 계획"이라고 밝혔다. 또한 "보안 사고로 분류되지 않더라도 AI의 행동 양식과 잠재적 위험을 파악하는 데 의미 있는 사건들은 별도로 공개하기로 방침을 정할 예정"이라고 덧붙였다.
관련 프레임워크는 수주 내에 발표될 예정이며, 현재 전 세계의 여러 정부 규제 기관과 타 AI 기업들과도 함께 공개 기준 수립을 위한 협의를 진행 중인 상황이다.