스페이스XAI가 차세대 AI 모델 ‘그록 4.8’의 사전 학습을 이번 주 내로 끝내고 강화학습(RL)에 들어갈 것으로 보인다. 그록 4.8은 2조5000억개 매개변수 규모이며, 스페이스XAI가 새로 개발한 C++ 기반 소프트웨어 스택을 적용한 것으로 알려졌다.
일론 머스크 CEO는 13일 X를 통해 그록 4.8이 2조5000억개 매개변수를 갖춘 모델이라고 밝혔다. 또한 스페이스XAI의 새로운 C++ 소프트웨어 스택을 활용해 학습하고 있다고 설명했다.
그는 이어 “사전 학습이 이번 주에 완료되고 곧바로 강화학습을 시작할 것”이라고 말했다. 다음 날에는 그록 4.8이 아직 출시되지 않은 그록 4.7보다 “눈에 띄는 개선”을 보일 것이라고 자신했다.
그록 4.8의 매개변수 수는 '그록 4.6'의 1조5000억개보다 크게 증가했다. 다만 공식 기술 사양이나 모델 카드가 공개된 것은 아니므로, 실제 규모와 성능에 대해서는 독립적인 검증이 필요하다. 모델 ID와 가격, 컨텍스트 윈도우, 벤치마크 결과 등도 아직 알려지지 않았다.
C++ 기반 소프트웨어 스택도 특히 주목할 만한 부분이다. 머스크 CEO는 스페이스XAI가 AI 학습과 추론을 위한 자체 C/C++ 기반 스택을 개발하고 있다고 밝혀왔다. 새로운 스택은 엔비디아의 최신 데이터센터용 GPU인 'GB300' 하드웨어에 맞춰 소프트웨어를 최적화하는 데 중점을 둔 것으로 전해졌다. 이를 바탕으로 모델 학습 및 추론 효율을 높이고, 더 빠른 AI 개발 주기를 확보하려는 의도로 풀이된다.
그록 4.8이 그록 4.7의 개발이 끝나지 않은 시점에 공개적으로 언급됐다는 점도 이례적이다. 그록 4.7은 당초 예상보다 출시가 늦어지고 있다. 머스크 CEO는 강화학습 과정에서 응답 길이에 부과되는 페널티가 지나치게 높게 설정됐을 가능성을 원인으로 제시했다. 그 결과 모델이 실제로 해결할 수 있는 어려운 작업을 너무 빨리 포기하거나, 자신의 답변을 충분히 엄격하게 검증하지 못하는 문제가 발생했다는 설명이다.
스페이스XAI는 현재 그록 4.7의 강화학습 보상 함수와 검증 체계를 수정하는 한편, 그록 4.8도 새로운 학습 단계에 진입시킬 것으로 보인다. 이는 매개변수만 늘리는 데 그치지 않고, 강화학습을 통해 모델의 추론 및 작업 수행 능력을 개선하는 동시에 학습 인프라의 효율성까지 높이려는 전략으로 해석된다.
그록 4.8의 출시 시점은 아직 정해지지 않았다. 과거에도 사전 학습 완료 발표 이후 실제 서비스 출시까지 몇주가 걸린 사례가 있었던 만큼, 이번 주 학습이 완료된다고 해서 곧바로 제품이 출시된다는 의미는 아니다.