정부가 AI에 맡긴 과제
영국 연구혁신기구(UKRI)는 매년 수십만 건의 연구 제안서 중에서 '유니콘', 즉 아직 주목받지 못했지만 큰 성과를 낼 유망 분야를 찾는 '별과 유니콘 추적하기' 프로젝트를 시작했다. 약 35만 건의 제안서를 인간이 일일이 검토하기는 불가능하다. 따라서 정부는 AI에게 핵심 개념을 추출하고 연구 분야를 정확히 분류하는 작업을 위임했다. 같은 예산으로 더 큰 연구 성과를 거두려면, 남들보다 먼저 성장 가능성 있는 분야를 알아차려야 하기 때문이다.
세 도구의 성능 대결
실험은 세 가지 도구를 직접 비교했다. 오픈AI의 GPT-4o(가장 큰 규모의 모델), Mistral(기관 내부에서 직접 운영할 수 있는 경량 모델), 영국 과학혁신기술부(DSIT)와 이노베이션 그로스 랩이 연구 분석용으로 직접 개발한 DSIT-택소노미(정부 전용 도구)이다.
테스트 대상은 영국 7개 국가 연구위원회에서 지원받은 제안서 42건이었다. 각 도구는 제안서에서 연구 엔티티(주제, 방법론, 사용 소프트웨어 등 연구의 의미 있는 최소 단위)를 뽑아내고 정확한 연구 분야로 분류해야 했다.
작은 모델의 놀라운 승리
결과는 통념을 깼다.
- Mistral 정확도: 90.5% (42건 중 38건 정확)
- DSIT-택소노미 정확도: 71.4% (30건 정확)
- GPT-4o: 단독 1위 미달
경량 모델 Mistral이 두 경쟁자를 압도했다. 정부가 직접 만든 도구는 19.1%포인트 뒤처졌으며, 가장 널리 알려진 챗GPT도 톱 자리를 차지하지 못했다.
원인 분석: 크기가 모든 것이 아니다
첫째, 모델의 규모가 성능의 절대 기준이 아니다. 과제의 특성에 맞춘 최적화가 더 중요하다. Mistral은 텍스트 분류·개념 추출 같은 구체적 작업에서 상당한 효율성을 보였고, 경량이면서도 정확도에서 우위를 점했다.
둘째, 정부가 직접 개발한 도구도 한계가 있다. DSIT-택소노미가 낮은 정확도를 기록한 것은 분야별 용어 인식이나 문맥 이해가 부족했을 가능성을 시사한다.
셋째, 이것은 공공 투자 효율성의 핵심이다. 정확도 19%의 격차는 단순한 기술 수치가 아니다. 35만 건의 제안서 중 어느 분야에 수십억 파운드 규모의 연구비를 배분할 것인가를 결정하는 선정 도구의 성능이 이 정도 차이를 보인다면, 국가 전체 연구 정책 방향이 크게 달라질 수 있다.
거시 전망: 정부 정책의 변화 신호
이 실험은 선진국 정부들이 공공 연구비 배분 방식을 AI 기반으로 전환하기 시작했음을 보여준다. 과거 피어 리뷰(동료 평가) 중심 평가에서 AI 기반 초기 필터링과 트렌드 감지로 옮겨가는 중이다.
영국의 성공 사례는 유럽연합, 미국, 일본 등 다른 선진국 정부도 비슷한 도구 도입을 검토하도록 자극할 것으로 보인다. 효율성 경쟁이 가속화될 가능성이 크다.
다만 다양성 보장과의 균형이 향후 과제다. AI 기반 선정이 특정 분야에 자원이 집중되거나 소수 연구팀이 소외될 수 있기 때문이다. 향후 정부는 정확성을 높이면서도 혁신성과 다양성을 함께 보장하는 방식을 찾아야 한다.
결론
영국 정부의 실험은 큰 모델이 항상 이기지 않으며, 목적에 맞춘 최적화가 최고의 성능을 낸다는 사실을 명확히 증명했다. 90.5%의 정확도는 비용 효율과 실제 성능을 동시에 달성할 수 있음을 보여준다.
다음 단계:
- 대규모 기관과 정부는 생산성 도구 선택 시 '크고 비싼 모델'보다 '과제 특화 모델'을 우선 검토해야 한다.
- 조직 내부 데이터에 맞춘 경량 모델 자체 개발에 투자할 가치가 충분히 있다.
- 35만 건 규모의 제안서 분석이 현실화되면, 향후 2~3년 내 국가 차원 연구 정책 수립 방식이 AI 기반으로 본격 전환될 가능성이 크다.
#AI연구투자 #Mistral #챗GPT성능비교 #정부연구정책 #공공투자효율성