알리바바는 다음 세대 플래그십 모델인 '큐원4'에 도입할 새로운 아키텍처를 먼저 공개했다. 성능과 모델의 규모는 유지하면서도 실제 연산량과 서비스 비용을 대폭 절감하는 방향으로 나아갈 예정이다.
알리바바는 26일(현지시간) 오픈웨이트 멀티모달 모델인 '큐원3.8-플래시-넥스트(Qwen3.8-Flash-Next)'를 발표했다. 이 모델은 차세대 '큐원4(Qwen4)'의 핵심 기술들이 어떻게 적용될지 미리 보여주는 역할을 한다.
1800억 개의 매개변수로 구성되어 있지만, 실제로 각 토큰 처리 시에 활성화되는 매개변수는 60억 개에 불과한 전문가 혼합(MoE) 구조를 채택했다. 이전 버전인 '큐원3.7-플러스'와 비교했을 때 학습 비용을 약 9분의 1로 대폭 줄인 것이 특징이다.
알리바바는 높은 성능을 지키면서 토큰당 처리 비용을 획기적으로 낮추어, 대규모 인공지능 서비스 제공과 소프트웨어 개발 및 에이전트 분야를 공략한다는 전략을 펴고 있다.
큐원3.8-플래시-넥스트는 1250억 개 규모의 핵심 모델에 510억 개 규모의 N-그램(gram) 임베딩과 40억 개 규모의 멀티토큰 예측(MTP) 모듈을 조합했다. 512개의 전문가를 갖춘 희소 MoE 체계에서는 토큰마다 10개의 라우팅 전문가와 1개의 공유 전문가만 작동시킨다. 전체 모델 크기는 1800억 개 매개변수이지만, 실제 추론에 필요한 연산을 크게 줄인 방식이다.
이번 모델이 특별한 의미를 갖는 이유는 큐원4로 나아갈 아키텍처의 미리보기라는 점이다. 큐원은 과거 '큐원3-넥스트'를 통해 '큐원3.5'의 핵심 구조를 먼저 공개했던 것처럼, 이번에도 차세대 모델에 사용될 신기술을 먼저 선보여 개발자와 연구자들이 새로운 구조를 검증할 기회를 제공한다.
아키텍처의 핵심 개선은 어텐션, 잔차 연결, 임베딩, 최적화 등 네 가지 분야에 집중되었다.
어텐션 메커니즘에는 'GDN(Gated DeltaNet)'과 'QSA(Qwen Sparse Attention)'을 결합한 혼합 방식이 적용되었다. 전체 48개 레이어 중 대부분은 과거 정보를 고정된 상태로 압축하는 선형 어텐션 GDN을 사용하고, 나머지는 중요한 전역 정보를 추출하는 QSA를 사용한다. QSA는 개별 토큰 단위가 아니라 작은 '마이크로 블록' 단위로 핵심 맥락을 선별하여 장문 컨텍스트 처리에 드는 연산을 감소시킨다.
100만 토큰 규모의 긴 컨텍스트에서 QSA 커널이 기존 방식 대비 프리필 단계에서 최대 7.6배, 디코드 단계에서 최대 4.9배 빠른 속도를 달성했다고 밝혔다. 90%의 프리픽스 캐시 적중률을 가정한 환경에서는 큐원3.7-플러스보다 프리필 처리량이 8.6배 높다고 설명했다. 다만 이 수치는 알리바바와 관련 생태계가 보고한 결과이므로, 실제 운영 환경에서는 하드웨어와 소프트웨어 구성에 따라 차이가 날 수 있다.
잔차 연결에는 'GR(Gated Residual)' 기법이 도입되었다. 기존의 단일 잔차 경로를 네 개의 병렬 경로로 확장하고, 각 경로에서 어떤 정보를 읽고 어느 정도로 기록할지를 동적으로 조절한다. 이를 통해 깊은 신경망에서 초반 정보가 희석되는 현상을 완화하고 학습의 안정성을 개선했다.
또 다른 혁신은 510억 개 매개변수를 포함한 N-그램 임베딩이다. 현재 토큰과 이전 토큰들의 조합을 활용하여 자주 나타나는 표현과 지역적 패턴을 별도로 저장하는 구조로, 많은 매개변수를 추가하면서도 토큰당 연산 부담은 거의 증가시키지 않는 것을 목표로 한다. 이 임베딩은 GPU 메모리가 아닌 시스템 메모리에 보관하고 비동기식으로 불러올 수도 있다.
모델 학습에는 무온(Muon) 옵티마이저와 아담W(AdamW)를 함께 활용했다. 새로운 아키텍처에 맞춰 스케일링 법칙을 새로 설계했으며, 기존의 배치 크기 워밍업 단계를 제거했다. 워밍업을 적용하면 오히려 최종적으로 필요한 옵티마이저 스텝이 18.8% 증가하여 학습 효율이 저하된다는 것을 발견했기 때문이다.
성능 평가는 프로그래밍과 에이전트 업무 영역에 중점을 두고 진행되었다. '딥SWE 1.1'에서 58.7점, 'SWE-벤치 프로'에서 62.5점, 'SWE-벤치 다국어'에서 81.0점, '라이브코드벤치 v6'에서 91.9점을 기록했다.
에이전트 성능 평가에서는 '코워크벤치' 73.9점, '잡벤치' 55.7점, '툴애슬론 베리파이드' 73.5점을 얻었으며, 멀티모달 작업 평가에서도 '안드로이드월드' 84.5점, 'LV벤치' 76.6점, '리얼월드QA' 88.5점, 코드 해석기를 활용한 '매스비전' 95.7점을 달성했다.
다만 모든 평가 항목에서 최상의 결과를 얻지는 못했다. 고도의 추론 능력을 평가하는 '인류의 마지막 시험(HLE)'에서는 '클로드 오퍼스 4.6'이 40.0점으로 큐원3.8-플래시-넥스트의 35.9점을 앞섰고, 'NL2Repo-벤치'에서는 '딥시크-V4-플래시'가 54.2점으로 큐원의 48.1점을 초과했다. 결국 코딩과 실무형 에이전트 작업에서는 충분한 경쟁력을 확보했지만, 최고 수준의 추론 능력에서는 아직 차이가 있다는 의미다.
컨텍스트 길이는 기본적으로 26만2144토큰이며, YaRN을 활용하면 최대 100만토큰까지 확장할 수 있다. 이러한 긴 컨텍스트를 활용하면 방대한 문서, 장시간에 걸친 대화, 소스 코드 전체, 연구 자료 등을 한 번에 처리할 수 있다.
모델은 vLLM, SGLang, TokenSpeed, Transformers Serve, llama.cpp 등을 통해 실행할 수 있으며, Unsloth와 LLaMA-Factory 등의 도구로 추가 학습도 가능하다.
상용 API의 가격은 입력 토큰 100만개당 1위안(약 0.15달러), 출력 토큰 100만개당 3위안(약 0.45달러) 수준으로 책정되었다. 오픈웨이트 버전인 큐원3.8-플래시-넥스트의 모델 가중치는 허깅페이스와 모델스코프를 통해 공개되었으며, API는 큐원클라우드(QwenCloud)에서 '큐원3.8-플래시'라는 이름으로 제공된다.