AI 스타트업 엘로리안(Elorian)이 이미지와 영상을 여러 차례 살펴보며 추론하는 시각 AI 모델 ‘글림프스(Glimpse)’를 연구 프리뷰로 선보였다. 회사 자체 평가에서 글림프스는 과학 차트 분석, 물체 수 세기, 짧은 영상 설명 등 일부 시각 추론 과제에서 오픈AI의 ‘GPT-6 아스트라’를 앞섰다.
엘로리안은 16일(현지시간) API와 채팅 인터페이스를 통해 글림프스를 제공한다고 발표했다.
글림프스는 추론 과정에서 이미지의 특정 부분을 확대하거나 영상의 특정 구간을 다시 확인해 판단을 수정하는 데 중점을 둔다.
이 과정은 ‘시각적 작업 공간(visual scratch space)’을 통해 드러난다. 모델은 이미지 일부를 확대하고, 영상의 특정 구간을 더 촘촘한 프레임으로 다시 살펴본다. 또 시간의 흐름에 따라 같은 물체의 위치가 어떻게 변하는지도 확인한다. 움직이는 물체를 추적하고 서로 다른 시점의 장면을 비교하며, 물체 사이의 공간 관계와 행동의 결과를 파악하는 데 초점을 맞췄다.
Spent years watching models ace a single image and completely whiff on anything that moves or changes angle. Today we’re fixing that.
Try Glimpse now, our first visual thinking model with competitive frontier performance compared to Astra on key public visual reasoning… pic.twitter.com/KpoVLpn5Gm
구글 딥마인드 출신 앤드루 다이가 이끄는 엘로리안은 사람에게는 간단한 시각적 판단도 기존 AI 모델에는 어려울 수 있다고 지적했다.
다이는 테크크런치와의 인터뷰에서 친구들과 보드게임을 한 뒤 찍은 사진을 AI에 보여주며 누가 이기고 있는지 물었지만, 모델이 제대로 답하지 못했던 경험을 전했다.
그는 “성인이라면 텍스트가 거의 없어도 무슨 일이 벌어지고 있는지 쉽게 이해할 수 있지만, 이런 모델들은 기호의 의미를 직관적으로 파악하지 못한다”고 말했다. 이어 “사람은 글자가 없는 이케아 조립 설명서만 보고도 가구를 조립할 수 있다. 그런데 왜 AI 모델은 그렇게 하지 못할까”라고 반문했다.
엘로리안은 수백 개의 GPU를 사용해 오픈웨이트 기반 모델을 사후학습하는 방식으로 글림프스를 만들었다. 대규모 컴퓨팅 자원을 투입하기보다, 모델이 추론 과정에서 시각 정보를 되풀이해 활용하도록 설계했다는 설명이다.
자체 평가에서 글림프스는 과학 차트 추론, 지정된 종류의 물체 수 세기, 짧은 영상 설명, 로봇 조작 장면 이해 등 4개 평가에서 GPT-6 아스트라보다 좋은 성적을 냈다. 로봇의 시점에서 공간 관계를 판단하는 평가에서는 아스트라와 비슷한 성능을 보였다. 반면 장면 이해와 일부 시간적 추론 과제에서는 아스트라에 뒤져, 모든 시각 평가에서 앞선 것은 아니었다.
로봇 작업 계획에서도 가능성을 확인했다. 엘로리안은 동일한 로봇 제어 모델에 글림프스와 아스트라가 각각 작업 계획을 제시하도록 해 비교했다. 과제는 크림치즈를 그릇에 담고 그릇을 캐비닛 위에 올려놓는 것이었다.
두 모델은 작업을 단계별로 나눈 뒤 로봇 카메라로 진행 상황을 확인하고 다음 행동을 정했다. 둘 다 과제를 완료했으며, 엘로리안에 따르면 이 실험에서 계획을 세우는 데 든 비용은 글림프스가 약 0.035달러, 아스트라가 0.249달러였다.
엘로리안은 가격 경쟁력도 강조했다. 글림프스 API 요금은 입력 토큰 100만개당 0.60달러, 출력 토큰 100만개당 3달러다. 회사는 입력과 출력 토큰의 단가가 각각 아스트라의 6% 수준이라고 설명했다. 다만 이미지를 세밀하게 재검토하는 과정에서 토큰 사용량이 늘어날 수 있어, 토큰 효율을 높이는 일이 과제로 남아 있다고 덧붙였다.
회사 측은 글림프스를 로봇공학 외에도 과학 데이터 분석, 영상 검색·분류, 콘텐츠 제작 등에 활용할 수 있다고 밝혔다. 엘로리안의 장기 목표는 시각적 이해를 넘어 장면을 재구성하고 물체의 움직임을 예측해 실제 행동을 결정하는 모델을 개발하는 것이다. 장면을 정밀하게 재구성하거나 로봇을 직접 제어하는 기능은 앞으로 개발해야 할 과제로 남아 있다.
엘로리안은 제품을 공개하기에 앞서 기업가치 3억달러(약 4000억원)를 인정받고 5500만달러(약 730억원)의 시드 투자를 유치했다. 스트라이커벤처파트너스, 멘로벤처스, 알티미터캐피털이 공동으로 투자를 주도했고, 엔비디아와 구글 수석과학자 제프 딘도 참여했다.