런웨이가 종전의 정해진 길이의 영상 생성 방식을 벗어나, 사용자의 움직임과 지시에 즉각 반응하는 끝없는 가상세계를 만드는 새로운 월드 모델을 선보였다.
런웨이는 3일(현지시간) 사용자 입력에 실시간으로 대응하며 무한정 가상 세계를 생성해나가는 새로운 월드 모델 'GWM 월드 2(GWM Worlds 2)'를 공개했다. 기존 영상 생성 모델이 프롬프트를 받으면 완성된 영상을 한정된 길이로 제공했다면, GWM 월드 2는 사용자가 키보드, 마우스, 텍스트 등으로 세계에 개입하는 동안 초당 24프레임의 720픽셀(p) 영상과 4만8000헤르츠(Hz) 오디오를 쉬지 않고 생성한다는 점이 특징이다.
지난해 12월 선보인 'GWM 월드(GWM Worlds)'의 후속 기술이다. 전작에서 실시간 영상 생성과 장시간 움직임에서의 공간적 일관성을 연구했다면, 이번에는 환경 시뮬레이션을 넘어 사용자가 직접 제어하는 인터랙티브 월드 구현에 중점을 두었다.
사용자는 처음에 세계의 환경과 등장인물, 시각적 스타일, 물리 법칙, 분위기 등을 정의할 수 있다. 그 후 텍스트 명령으로 특정 캐릭터나 장면을 지시하거나 카메라를 조종해 상황을 전개시킨다. 캐릭터가 칼을 휘두르게 하거나 말하도록 하고, 방에 물을 차게 하고 먼지 폭풍을 일으키는 등 텍스트로 표현할 수 있는 다양한 사건들을 실시간으로 일으킬 수 있다.
이를 가능하게 하는 핵심 기술이 '월드프롬프트(WorldPrompt)'다. 세계를 시간이 지나도 유지되는 요소와 시간에 따라 변하는 요소로 나눈다. '지속적 월드 맥락(Persistent World Context)'에는 환경의 구조와 질감, 조명, 소리, 캐릭터의 특성, 중력과 충돌 같은 물리법칙, 카메라 시점 등이 포함되며, 세계의 기준점이 되는 첫 프레임도 담긴다.
이에 대해 '이벤트 스트림(Event Stream)'은 시간 경과에 따른 변화를 기록한다. 움직임과 제스처, 물체 간 상호작용, 음성과 음향 등을 시작·종료 시점과 함께 텍스트로 표현하며, 여러 이벤트가 동시에 펼쳐지는 것도 지원한다. 카메라도 프레임별 위치와 회전 정보를 입력으로 활용할 수 있다.
이러한 구조 덕분에 GWM 월드 2는 고정된 영상 클립이나 미리 정해진 스크립트를 따르지 않고, 새로운 입력이 들어올 때마다 이미 생성된 세계를 이어나간다. 미리 정한 영상 길이에 제약받지 않으므로 생성 과정을 계속해서 이어갈 수 있다.
기술 구현 면에서는 오디오·비디오 생성 모델을 기반으로 미세조정한 후 실시간 자기회귀(autoregressive) 모델로 전환했다. 생성 과정에서 세계의 기본 맥락과 현재 프레임의 카메라 및 텍스트 행동, 이전 프레임을 활용한다. 영상과 오디오 디코더는 캐시를 사용해 실시간 생성 속도를 높인다.
활용 방식은 세 가지로 나뉜다. 사전 생성 방식에서는 사용자가 미리 이벤트를 작성한 뒤 전체 영상과 오디오를 생성할 수 있어 영화나 광고 제작에 쓸 수 있다. 턴 기반 방식에서는 영상 진행 중 사용자가 선택을 하면 새 행동을 입력해 다음 장면으로 넘어가므로 인터랙티브 영화나 비주얼 노벨에 적합하다. 실시간 방식에서는 영상이 계속 생성되면서 사용자의 행동이 즉시 반영되어 게임이나 인터랙티브 콘텐츠에 활용된다.
키보드와 마우스를 이용한 조작도 가능하다. 자주 쓰는 텍스트 명령을 특정 키나 마우스 입력과 연결할 수 있다. W키를 캐릭터의 앞 이동으로, 마우스 클릭을 공 던지기 행동으로 설정하는 식이다. 여러 사용자가 각기 다른 캐릭터를 조종하는 멀티플레이어 경험도 가능해진다.
특히 에이전트가 가상 세계의 캐릭터와 환경을 직접 제어할 수 있다는 점도 주목할 만하다. 휴머노이드 로봇과 깃발 두 개가 있는 환경에서 에이전트에게 특정 깃발로 이동하라고 지시하는 실험을 진행했으며, 에이전트가 과제를 수행했다고 설명했다. 이로써 GWM 월드 2가 에이전트 평가를 위한 시뮬레이션 환경이나 다양한 상황에서의 에이전트 훈련에 활용될 가능성을 보여준다.
다만 현재는 연구 단계로, 실시간 반응성을 높이는 과정에서 영상 품질이 다소 떨어진다는 한계가 있다. 특히 카메라가 매우 빠르게 회전하는 등 복잡한 시점 변화가 일어나면 세부 표현과 질감, 기하 구조가 저하될 수 있다. 장기 기억 능력도 아직 완전하지 않으며, 첫 프레임이나 미리 채운 영상·오디오를 제외하면 이미지 참조 기능도 미지원 상태다.
또한 실시간으로 자유로운 텍스트 명령을 활용하려면 별도의 실시간 제어 시스템이 필요할 수 있다. 사용자가 직접 입력하는 방식은 즉각적인 반응을 요하는 게임 환경에서는 지연이 발생할 수 있기 때문이다. 런웨이는 실시간 월드 생성 기술이 발전하면서 이러한 제약들도 극복될 것으로 전망했다.