독파모(독자 파운데이션 모델) 2차 평가를 둘러싼 논쟁은 국가 AI 산업 정책의 측정 설계가 실제 공급망을 어떻게 가르는지 보여주는 현안이다. 벤치마크 1위 탈락과 배점 공개가 겹치면서, 시장은 점수 경쟁이 아니라 무엇을 재느냐가 자본·인력 배분을 결정한다는 점을 확인하고 있다.
현황: 18일 결과와 20일 배점 공개
지난 10일 칼럼은 결과 발표 전 시점에서 벤치마크보다 쓰임새를 묻자고 했다. 그 뒤 열흘 사이 벤치맥싱(벤치마크 점수만 겨냥한 튜닝) 공방이 일었고, 평가 기관 아티피셜 애널리시스(Artificial Analysis)가 입장을 냈다.
18일 발표에서 SK텔레콤, LG AI연구원, 업스테이지가 남고, AA 점수가 가장 높았던 모티프테크놀로지스는 탈락했다. 다음 날 언론은 세부 점수 공개를 요구했고, 20일 과학기술정보통신부는 항목별 1위와 점수를 담은 보도설명자료를 냈다. 칼럼이 “무엇을 재느냐가 결국 무엇을 만드냐를 결정한다”고 닫은 문장이, 열흘 만에 시험대에 오른 상태다.
여론은 둘로 갈린다. 한쪽은 벤치마크만 잘 나오는 모델의 탈락을 당연하다고 보고, 다른 쪽은 최고점 팀 탈락이 프로젝트의 자기모순이라고 본다. 남은 세 팀 중 대기업 둘과 상장을 앞둔 업스테이지, 탈락 팀이 30명 규모 스타트업이라는 점도 논란을 키운다.
원인: 배점표가 보여 주는 본체
평가는 벤치마크 40점, 전문가 평가 35점, 사용자 평가 25점, 총 100점이다. 벤치마크 40점은 AA 지능지수(AAII) 기반 25점과 한국지능정보사회진흥원(NIA) 15점으로 나뉜다. AAII는 각 사 자체 보고가 아니라 아티피셜 애널리시스가 직접 측정했다.
모티프 3의 AAII는 47점으로, 미국·중국 외 국가 모델 중 최고점이고 나머지 3개 팀보다 한참 위다. 그럼에도 탈락했다. 두 진영은 정반대처럼 보이지만, 평가의 본체가 벤치마크였다는 전제를 공유한다. 그 전제가 배점표와 어긋난다.
20일 자료의 항목별 최고점과 4팀 평균은 다음과 같다.
- AAII 벤치마크(25점): 최고 모티프 11.9점, 평균 9.48점
- NIA 벤치마크(15점): 최고 SK텔레콤 13.4점, 평균 13.05점
- 전문가 평가(35점): 최고 LG AI연구원 29.5점, 평균 28.75점
- AI 전문 사용자진(15점): 최고 SK텔레콤 11.6점, 평균 10.53점
- 일반 국민 평가(10점): 최고 LG AI연구원 7.6점
시사점은 단순하다. AAII에서 벌어진 격차는 배점 25점 안에서 흡수되고, 전문가·사용자 쪽 배점이 합쳐 더 크다. NIA는 평균이 최고점에 붙어 있어 변별이 작다. 정책 사이클이 벤치마크 수출 경쟁이 아니라 국내 쓰임새·전문가 판단에 가중치를 둔 설계라는 점이 탈락의 직접 원인으로 읽힌다.
실무 적용은 한 가지다. 입찰·투자 메모에 AAII 순위만 적지 말고, 40·35·25 가중치로 재점수화한 뒤 전문가·사용자 항목에서 평균 대비 얼마나 위인지를 적는다. 같은 숫자를 다른 저울에 올리면 순위가 바뀐다.
전망: 측정 설계가 산업 사이클을 가른다
거시적으로 이 이슈는 금리·환율보다 산업 정책의 평가 규칙이 선별 메커니즘으로 작동하는 구간에 있다. 앞으로의 흐름은 벤치마크 1위 복원보다, 전문가·사용자 배점이 유지되는한 쓰임새 검증 능력이 생존 조건이 될 가능성이 크다. 반대로 배점이 벤치마크 쪽으로 재조정되면 순위 논쟁의 축이 다시 점수로 옮겨갈 수 있다. 어느 쪽이든, 공개된 저울을 전제로 모델을 맞추는 쪽이 다음 라운드에서 유리하다.
결론
독파모 2차 평가는 벤치마크 최고점이 본체가 아니었고, 40·35·25 배점이 생존을 갈랐다. 벤치맥싱 공방과 20일 점수 공개는 그 저울을 시장에 드러낸 사건이다.
- 공개 배점으로 자사·경쟁사 점수를 재가중해 순위를 다시 매긴다.
- 전문가·사용자 평가 문항을 제품 로드맵의 필수 항목으로 고정한다.
- 벤치마크는 필요조건으로만 관리하고, 쓰임새 evidenc e를 같은 주기로 남긴다.
#독파모2차평가 #벤치마크 #모티프테크놀로지스 #과기정통부 #AAII