구글이 영상을 수동적으로 분석하던 방식을 탈피해 AI 스스로 핵심 장면을 찾아내 정밀하게 분석하는 기술을 공개했다. 이를 통해 비용 절감과 정확도 향상을 동시에 달성할 수 있게 되었다.
구글은 1일(현지시간) 새로운 '에이전트 기반 비디오 이해(Agentic Video Understanding)' 기능을 발표했다. 이는 영상 분석 시 정해진 간격으로 모든 장면을 처리하는 대신, 분석 목표에 맞춰 AI가 스스로 중요한 구간을 선별하고 집중적으로 살펴보는 방식이다.
이를 통해 장시간 영상 분석에서 토큰 사용량과 비용을 대폭 줄일 수 있으면서도 분석 정확도는 높아지는 이점이 있다.
구글은 최신 AI 모델인 제미나이 3.7 플래시, 제미나이 3.6 플래시, 제미나이 3.5 플래시-라이트에 이 기능을 적용한다고 밝혔다. 기존의 고정된 영상 처리 방식과 달리, AI 모델이 스스로 어느 장면을 언제, 어느 정도 깊이 있게 분석할지 판단하는 것이 핵심이다.
기존 방식의 한계
종래의 영상 분석에서는 개발자가 설정한 초당 프레임 수(FPS)에 따라 영상 전체를 균일한 간격으로 처리해왔다. 기본값은 초당 1프레임이며 API를 통해 조정 가능하지만, 긴 영상을 높은 FPS로 분석하면 막대한 토큰이 소모되고 비용이 크게 증가한다. 반대로 FPS를 낮추면 짧은 시간에 일어나는 중요한 이벤트나 미묘한 변화를 놓칠 위험이 있다.
새로운 에이전트 방식의 작동 원리
이번에 공개한 에이전트 기반 비디오 이해는 제미나이가 영상의 목표와 질문을 먼저 파악한 뒤 필요한 구간을 직접 탐색한다. 단순 화면 이미지뿐 아니라 음성, 자막, 트랜스크립트를 함께 활용하며, 필요시 특정 부분을 더 높은 FPS로 재분석한다. 영상 전체를 무분별하게 처리하는 대신 핵심적인 순간과 신호만 선택적으로 불러오는 방식이다.
성능 개선 결과
표준 비디오 분석 벤치마크에서 에이전트 기반 비디오 이해를 적용한 제미나이는 기존 방식 대비 최대 66%의 비용 절감과 최대 88%의 토큰 절감을 달성했다. 동시에 필요한 구간을 동적으로 재분석할 수 있어 정확도는 최대 7% 향상되었다.
특히 10분짜리 튜토리얼 영상부터 90분짜리 강의, 그리고 몇 시간에 달하는 장시간 녹화 콘텐츠에서 효과가 두드러진다. 기존 방식에서는 긴 영상을 고해상도로 분석할 때 토큰 비용이 급증하거나, 비용을 절감하려고 프레임을 줄이면 중요한 장면을 놓치는 딜레마가 있었다. 반면 에이전트 기반 접근법은 분석 중 필요한 부분만 선택적으로 확대해 이 같은 트레이드오프를 완화한다.
활용 분야
활용 범위는 매우 광범위하다. 초 단위보다 짧은 시간에 일어나는 장면 전환이나 상태 변화를 감지하는 서브초 단위 탐색, 수 시간짜리 긴 영상에서 특정 정보를 찾아내는 '건초더미 속 바늘' 찾기, 빠른 움직임이나 미세한 시각적 이상을 감지하는 이상 징후 탐지, 반복적인 동작이나 특정 물체를 추적하고 개수를 세는 작업 등에 활용할 수 있다.
모델별 성능 평가
구글에 따르면 세 모델 중 제미나이 3.7 플래시가 전반적인 품질뿐만 아니라 성능과 비용의 밸런스에서도 가장 우수한 성과를 냈다. 테스트된 모델 중 정확도와 비용을 함께 고려한 파레토 프론티어(Pareto frontier)에 위치한다는 평가다.
개발자 및 사용자 접근
개발자는 구글 AI 스튜디오와 제미나이 엔터프라이즈 에이전트 플랫폼을 통해 제미나이 API로 이 기능을 이용할 수 있다. API 설정에서 영상 처리 방식을 '에이전틱(agentic)'으로 지정하기만 하면 되며, 별도의 추가 요금 없이 기존 제미나이 API 토큰 요금이 적용된다.
구글은 개발자에 그치지 않고 일반 이용자를 대상으로도 이 기능을 확대할 계획이다. 조만간 제미나이 앱의 플래시 및 플래시-라이트 모델에 적용하며, 추후 유튜브 영상 시청 화면의 애스크 유튜브(Ask YouTube) 기능에도 에이전트 기반 비디오 이해를 도입해 영상 속 실제 시각 정보를 바탕으로 보다 정확한 답변을 제공할 예정이다.