아랍에미리트 아부다비에서 단순한 가중치 공개 수준을 넘어서는, AI 업계 역사상 규모가 가장 큰 완전 오픈소스 AI 모델 패키지가 세상에 나왔다.
아부다비의 모하메드 빈 자예드 인공지능 대학교(MBZUAI) 산하 기초 모델 연구소(IFM)는 지난 3일 6개 파운데이션 모델로 이루어진 'K2 호라이즌(K2 Horizon)'을 발표했다.
이 프로젝트는 모델의 가중치뿐 아니라 소스 코드와 전체 학습 데이터셋, 평가와 학습에 관한 모든 레시피(방법론)를 함께 공개한다. 더욱이 최종 완성된 모델만 제공하는 기존의 방식에서 벗어나 학습 과정의 중간 체크포인트까지 배포함으로써 연구의 투명성과 재현 가능성을 최대한 높였다. 덕분에 연구자들은 AI가 어떻게 작동하는지 더욱 자세하게 검증하고 같은 결과를 얻을 수 있게 되었다.
최근 AI 업계에서 주목받는 가중치 공개 수준을 훨씬 뛰어넘어 진정한 완전 오픈소스 프로젝트로 평가된다. IFM의 창립자이자 MBZUAI의 총장인 에릭 싱은 "과학은 다른 사람들이 데이터를 보고, 방법론을 따르고, 결과를 재현하고, 더 나은 결과를 도출할 수 있을 때 비로소 제대로 작동한다"며 "K2 Horizon은 모든 모델의 학습 데이터, 방법론, 평가 결과를 함께 제공하는 진정한 의미의 오픈 사이언스"라고 설명했다.
6개 모델은 0.9B(9억 개)에서 375B(3,750억 개) 규모의 매개변수를 가지고 있어 초소형 엣지 기기부터 대규모 엔터프라이즈 환경까지 두루 지원한다. 이번 라인업은 추론, 코딩, 수학, 에이전트 작업 전반에 걸쳐 뛰어난 결과를 내보였다고 공개했다.
기술 측면에서도 눈에 띄는 혁신이 있다. 응답 품질을 유지하면서 추론 속도를 약 3배 향상시키는 '디퓨전 디스틸레이션(Diffusion Distillation)' 기술을 도입했다. 한 글자씩 순차적으로 만들어내던 기존 LLM의 한계를 극복하기 위해 생성 방식 자체를 디퓨전 기법으로 바꾸고, 여기에 증류 기술을 적용해 여러 토큰 블록을 동시에 병렬 생성하도록 구성했다.
추가 연산 없이도 추론 능력을 높인 '가치 주의 혼합(Mixture of Value Attention, MoVA)' 아키텍처도 탑재됐다. 문맥을 이해할 때 모든 정보에 같은 수준의 연산을 하던 기존 어텐션 메커니즘의 비효율을 개선한 것으로, 핵심 정보를 처리할 때만 필요한 전문가 라우터를 선택적으로 활성화해 메모리와 연산 비용을 크게 절감한다. 실제로 36B 크기 모델이 4B 수준의 연산만으로도 대형 모델 수준의 성능을 달성했다.
가장 작은 0.9B 모델은 스마트워치나 스마트안경 같은 제약이 심한 온디바이스 환경을 목표로 설계되었으며, 같은 규모의 다른 모델들 중 수학과 도구 활용 능력에서 최고 수준의 성능을 보여준다. 3.7B 모델은 미세조정에 맞춰 만들어져 같은 급의 모델 중 가장 우수한 추론 능력을 갖췄고, 7B 모델은 스마트폰에서 직접 실행할 수 있으면서도 높은 수준의 소프트웨어 엔지니어링 역량을 제공한다.
32B 고밀도(Dense) 모델은 로컬 서버와 온프레미스 환경을 대상으로 개발됐으며 고사양 노트북에서도 복잡한 연산 처리가 가능하도록 설계됐다. 36B 모델은 활성 매개변수가 4B에 그치는 저밀도 MoVA 아키텍처(36B-A4B)를 적용해 가성비를 극대화했다. 최상위 플래그십 모델인 375B(활성 매개변수 23B, 375B-A23B)는 복잡한 추론과 에이전트 작업에 특화돼 기업용 AI 업무에 바로 투입할 수 있다.
0.9B를 제외한 5개 모델은 핵심 아키텍처와 어휘, 배포 도구를 공유한다. 개발자들이 동적 모델 라우팅 기술을 이용해 작은 모델로 프로토타입을 만든 후 워크플로우를 수정하지 않고도 최고 사양 모델까지 확장할 수 있도록 한 것이다.
K2 호라이즌 시리즈 전체와 관련 코드는 상업 이용과 재배포가 자유로운 아파치 2.0 라이선스로 제공된다. 허깅페이스에서 가중치와 GGUF 양산형 모델, 학습 데이터셋을 직접 내려받을 수 있으며, vLLM, SGLang, 컴퍼스, 세레브라스, 네비우스 등 주요 추론 파트너 기업의 API와 깃허브를 통해서도 이용 가능하다.