영상 생성 AI 분야에서 틱톡과 시댄스(Seedance)를 통해 주도권을 확보한 바이트댄스가 이제 '월드 모델(World Model)' 시장으로의 진출을 선언했다.
7일(현지시간) 블룸버그 보도에 따르면, 바이트댄스는 사용자의 움직임과 음성에 실시간으로 반응하는 가상 세계를 만드는 '월드 모델' 개발을 진행 중이다.
바이트댄스 창립자인 장이밍이 다음 달 출시를 목표로 하는 새로운 '실시간 공간 비디오 생성' AI 모델 개발을 손수 이끌고 있다. 그는 회사 산하 여러 부서의 개발력을 통합하면서 AI 인력과 컴퓨팅 자원을 이 프로젝트에 집중하고 있는 것으로 알려졌다. 다만 출시 일정은 변동될 가능성이 있다.
신규 모델은 기존의 영상 생성 AI인 시댄스를 기반으로 개발될 예정이다. 사용자가 음성이나 움직임으로 명령을 내리면 이에 즉각 반응해 실시간으로 가상 공간을 만들어내는 구조로, 라이브 스트리밍, 숏폼 콘텐츠, 인터랙티브 게임 등 다양한 분야에서 활용될 수 있을 것으로 기대된다.
기술적으로는 초당 20프레임 수준의 고해상도 공간 영상을 약 0.05초의 지연 시간으로 생성하는 것이 목표다. 이러한 극도로 낮은 지연 시간은 사용자의 행동과 가상 환경의 반응 사이의 시간 간격을 최소화하여 더욱 몰입감 있는 상호작용을 가능하게 하는 핵심 기술이다.
궁극적 목표는 단순한 영상 생성을 넘어, 사용자가 직접 진입하여 상호작용할 수 있는 3차원 가상 세계를 구축하는 것이다.
월드 모델은 게임이나 가상현실을 범위를 초과하여 로봇공학과 자율주행 같은 물리적 세계의 이해가 필수적인 AI 분야에서도 핵심 기술로 평가받고 있다. AI가 현실의 공간, 물체, 움직임을 시뮬레이션하고 예측할 수 있다면 로봇이나 자율주행 시스템의 훈련 환경 구축에 직접 활용될 수 있기 때문이다.
유사한 노력을 기울이는 기업은 구글이다. 구글의 '지니(Genie)'가 사용자가 실시간으로 상호작용하는 가상 세계 구현에 무게를 두는 반면, 바이트댄스는 영상 생성 기술의 강점을 살려 높은 실시간성을 갖춘 공간 콘텐츠를 만든다는 점에서 차별화된다.
이번 프로젝트는 콘텐츠 플랫폼, AI, 클라우드, 그리고 확장현실(XR) 사업을 유기적으로 잇는 역할도 담당할 전망이다. 특히 자회사 피코(Pico)가 제공하는 가상현실(VR) 헤드셋과 결합하여 사용자의 음성과 움직임에 반응하는 가상 환경을 제공하는 방안이 논의 중인 것으로 전해졌다. 만약 성공한다면 메타의 '퀘스트'와 애플의 '비전 프로'가 주도하고 있는 공간 컴퓨팅 시장에 새로운 게임체인저로 작용할 수 있다.
공간 영상 생성에 필요한 거대한 연산 작업을 클라우드 기반으로 처리하는 방식도 검토 중인 것으로 알려졌다. 이 방식을 통해 VR·XR 기기에 필요한 고사양 하드웨어의 의존도를 낮추고, 상대적으로 저사양이고 저렴한 기기에서도 고화질의 공간 콘텐츠를 이용할 수 있게 한다는 전략이다.
이는 향후 공간 컴퓨팅 시장의 경쟁 축이 하드웨어의 성능에서 AI 모델, 클라우드 컴퓨팅, 콘텐츠 플랫폼으로 전환될 가능성을 시사한다.