현황: 점수 역설이 노출한 평가 체계의 균열
정부 독자 AI 파운데이션 모델(독파모) 2차 평가에서 모티프테크놀로지스의 '모티프 3'는 충격적인 결과를 맞았다. 글로벌 AI 평가지표 AAII에서 11.9점으로 참여 모델 중 1위를 기록했으나, 종합 평가에서는 65.8점으로 최하위 탈락했다. 이는 단순한 점수 불일치를 넘어 정부 AI 평가 체계의 신뢰도 기반을 흔드는 신호다.
공개된 세부 점수의 편차는 극명하다:
- AAII: 11.9점(1위)
- NIA 벤치마크(한국어·안전성): 12.7점(꼴찌)
- 전문가 평가: 27.1점(꼴찌)
- 사용자 평가: 14.1점(꼴찌)
상위 업체들은 SK텔레콤 70.6점, 업스테이지 69.9점, LG AI연구원 69.0점으로 더 균형잡힌 분포를 보였다. 모티프가 한 지표에서만 압도적이고 나머지에서 모두 최하위인 구조가 평가 기준 자체의 유효성을 의심하게 만든다.
원인: 벤치마킹 의혹과 기준 투명성의 문제
모티프의 잇단 이의 제기가 초점을 계속 바꾼다는 게 업계의 핵심 지적이다. 처음엔 세부 점수 공개를 요구했고, 정부가 공개하자 이번엔 평가 기준과 평가위원 구성을 문제 삼았다. 하지만 자사 모델의 의혹에는 답하지 않는다는 점이 비판의 화살을 모은다.
벤치마킹 논란의 본질: 미국 AI 데이터 기업 애프터쿼리가 모티프 3의 '유일한 데이터 파트너'임을 공개하면서 특정 벤치마크 최적화 의혹이 제기됐다. 다른 업체 관계자는 "특정 벤치마크만 겨냥해 점수를 끌어올리는 것은 얼마든지 가능하다"며 "협업 전후 점수 변화를 공개하면 투명성이 입증된다"고 강조했다. 모티프 측의 "에이전트 성능 향상을 위한 협업"이라는 반박만으로는 AAII 1위의 이유를 설명하기 부족하다.
기준의 구조적 한계: 한국어·안전성 같은 국내 특화 지표 가중치가 낮은 반면 AAII 같은 글로벌 벤치마크 의존도가 높다는 점도 문제다. 4개 팀이 정한 평가 기준의 정당성 근거가 충분하게 공개되지 않은 상태다.
거시 요인: 정부 AI 정책의 신뢰도 구조 위기
이 사건은 단순한 평가 분쟁을 넘어 정부의 AI 산업 육성 정책 자체의 신뢰도와 연결된다. 정부가 이례적으로 세부 점수를 공개한 것은 투명성 강화 신호였으나, 평가 기준 선정 과정의 신뢰도는 여전히 미흡하다.
핵심 쟁점들:
- 평가위원 공개의 비현실성: 심사위원을 공개하면 그들은 다음부터 평가에 참여할 수 없게 된다는 현실적 제약이 있다. 국내 AI 전문가 풀의 제한성(해외 교수까지 거론되는 수준)도 문제다.
- 기준 정당성의 부족: 각 지표의 가중치 결정 과정이 투명하지 않고, 사후 상관관계 검증도 이루어지지 않았다.
- 같은 잣대의 부재: 정부에는 투명성을 강하게 요구하면서 자사 의혹에는 침묵하는 태도가 공정성 문제를 키운다.
전망: 평가 체계 개선과 신뢰도 회복의 방향
앞으로의 흐름은 세 가지 변수에서 결정될 가능성이 크다.
1. 평가 기준의 재정비: 각 지표의 가중치 정당성을 재검토하고, 실제 모델 성능과의 상관관계를 사후 검증하려는 노력이 시작될 것으로 보인다.
2. 벤치마킹 규제 강화: 모델 학습 과정의 투명성을 높이기 위해 데이터 파트너십 사전 공개, 학습 방법론 등록 같은 업계 기준이 논의될 수 있다.
3. 신뢰도 중심 평가 문화의 형성: 단일 지표 최적화가 아닌 '다각적 성능 입증'을 중시하는 업계 평가 문화로의 전환이 가속화될 가능성이 있다.
결론
독파모 평가 논란의 근본은 평가 기준의 투명성 부족과 특정 지표 최적화의 허점이 동시에 노출된 것이다.
실무 적용 단계:
- 참여 업체: 단일 벤치마크 성과보다 한국어·안전성·실제 사용성 같은 다각적 성능 입증을 우선할 것
- 정부: 각 지표의 정당성 근거와 함께 평가 기준을 공개하고 정기적으로 검증할 것
- 업계 전체: 점수 게임을 넘어 신뢰도 중심의 평가 문화 정착에 협력할 것
#독파모 #모티프 #AI평가기준 #벤치마킹 #정부정책신뢰도