글로벌 AI 모델 평가업체 아티피셜 애널리시스(AA)가 종합 성능 평가 기준을 크게 바꾸면서 주요 AI 모델의 순위도 달라졌다. 오픈AI의 'GPT-6 아스트라'와 'GPT-6.1 솔'은 상위권으로 올라섰고, 구글의 최신 모델 '제미나이 4 카본'은 앤트로픽의 '클로드 오퍼스 5.5'를 넘어 1위를 차지했다. 개편된 평가에서는 기존 지식·추론 문제의 비중을 조정하고 실제 코딩과 과학 연구 수행 능력을 더 중점적으로 다뤘다. 전체 평가에서 비공개 데이터를 활용하는 비율도 60%로 높여, 모델이 공개 문제를 미리 학습해 높은 점수를 얻는 현상을 줄이고자 했다.
AA는 27일(현지시간) 공식 발표를 통해 AI 모델의 종합 성능을 측정하는 '인텔리전스 인덱스(Intelligence Index) v5'를 공개했다.
올해 1월 v4를 선보인 뒤 진행한 가장 큰 개편이다. 새 벤치마크 2개를 추가하고 기존 평가 3개를 개선했다. AA는 AI 모델의 종합 성능을 지능 지수로 평가하는 한편, 이용 비용과 처리 속도도 별도로 측정한다. 이 지표들은 주요 AI 기업의 모델 경쟁력을 비교하는 데 쓰이고 있다.
이번 개편에서 가장 두드러진 변화는 오픈AI 모델의 순위 상승이다. 개편 전 'v4.3' 평가에서 53점으로 공동 5위권에 머물렀던 GPT-6 아스트라는 v5에서 57점을 받아, 모델별 최고 추론 설정 기준 3위에 올랐다. GPT-6.1 솔도 기존 52점으로 공동 8위권이었으나 55점을 기록하며 4위로 상승했다.
새 평가에서 제미나이 4 카본은 59점으로 1위를 차지했다. 클로드 오퍼스 5.5가 58점으로 2위에 올랐고, GPT-6 아스트라는 57점, GPT-6.1 솔은 55점, 클로드 소네트 5.5는 54점으로 뒤를 이었다. AA는 27일 v5를 발표하면서 클로드 오퍼스 5.5를 1위로 소개했지만, 28일 제미나이 4 카본의 결과를 추가로 공개해 구글 모델이 새롭게 1위에 올랐다고 밝혔다.
구글은 새 평가 항목에서도 좋은 성적을 거뒀다. 제미나이 4 카본은 9개 평가 가운데 고난도 지식·추론, 과학 연구, 지식 정확성, 업무 자동화 등 4개 부문에서 최고점을 기록했다. 기존 '제미나이 4 아르곤'의 50점보다 9점 높다. 다만 코딩 에이전트와 일부 지식 업무에서는 여전히 경쟁 모델보다 낮은 성적을 보였다.
과학 연구 분야에서는 오픈AI가 강세를 나타냈다. GPT-6 아스트라는 새로 추가된 과학 연구 에이전트 평가 '터미널-벤치-사이언스(Terminal-Bench-Science)'에서 63%를 기록했다. 고난도 물리학 문제를 다루는 'CritPt v2'에서도 72%로 1위를 차지했다. 복잡한 과학 문제를 풀어내는 역량이 높은 종합 점수에 힘을 보탰다.
평가 체계도 큰 폭으로 바뀌었다. 기존 v4.3은 에이전트 30%, 코딩 20%, 일반 지식 30%, 과학적 추론 20%로 구성됐다. v5에서는 지식 업무, 코딩, 과학, 일반 지식에 각각 25%씩 같은 가중치를 적용했다.
새로 도입된 '프론티어코드 2.0(FrontierCode 2.0)'은 실제 오픈소스 소프트웨어 저장소에서 코드를 수정하게 한 뒤, 프로젝트 관리자가 해당 변경 사항을 실제로 받아들일 만한 수준인지 평가한다. '터미널-벤치-사이언스'에서는 AI 에이전트가 과학 연구 작업 70개를 직접 수행한다. 정답을 맞히는 능력만 보는 대신 복잡한 작업을 끝까지 수행하는 역량을 측정하는 데 초점을 뒀다.
기존 평가의 난도도 높아졌다. '인류의 마지막 시험(HLE)'을 정제한 'HLE-다이아몬드'에는 추론과 지식 문제 1000개가 포함된다. 'AA-옴니사이언스'는 이미 널리 알려진 문제를 제외하고 새로운 문항을 추가했다. CritPt에서는 상위 모델들이 쉽게 풀었던 기존 물리학 문항을 걷어내고 고난도 문제 40개만 남겼다.
이런 변화에 따라 전체 평가에서 비공개 데이터가 차지하는 비중은 기존 45%에서 60%로 늘었다. 모델이 이미 학습했을 가능성이 있는 공개 문제를 줄여 실제 문제 해결 능력을 더 정확히 측정하기 위한 조치다.
평가의 난도와 작업량도 함께 증가했다. AI 모델이 평가 과제 하나를 수행할 때 생성하는 출력 토큰의 중간값은 기존 3만5000개에서 5만9000개로 약 67% 늘었다. 특히 과학 연구와 코딩, 업무 자동화 등 에이전트 평가가 전체 출력 토큰의 약 90%를 차지했다. 복잡한 작업을 처리하는 데 필요한 추론 과정과 실행 단계가 그만큼 늘었다는 의미다.
이에 따라 모델의 추론 강도에 따른 점수와 비용 차이도 확대됐다. 클로드 오퍼스 5.5는 낮은 추론 설정에서 35점이었지만, 최대 설정에서는 58점까지 상승했다. 평가 작업당 비용 역시 0.98달러에서 10.04달러로 10배 이상 늘었다. GPT-6.1 솔은 최대 설정에서 55점을 기록했으며, 작업당 비용은 1.27달러로 비슷한 성능의 경쟁 모델보다 저렴했다.
이번 개편으로 최상위 AI 모델과 오픈웨이트 모델 사이의 성능 격차도 커졌다. 오픈웨이트 모델 가운데 가장 높은 점수를 받은 '키미 K3.1 프로'는 46점을 기록해, 전체 1위인 제미나이 4 카본(59점)과 13점 차이가 났다. 기존 v4.3에서 두 그룹의 선두 모델 간 점수 차이는 3점에 불과했다.
AA는 이번 개편과 함께 2022년 11월 이후 출시된 AI 모델의 성능 변화를 같은 척도로 비교하는 '프로그레스 인덱스(Progress Index)'도 내놨다. 기존 지능 지수는 평가 방식이 바뀔 때마다 점수도 달라져 장기간의 성능 향상 추세를 비교하기 어렵다는 한계가 있었다. 새 지수는 이를 보완해 지난 수년간 AI 기술이 얼마나 발전했는지 추적하는 데 활용될 예정이다.