AI가 사람이 지정한 애플리케이션 코드를 작성하는 수준을 넘어, 자신이 작동하는 하드웨어와 시스템 인프라를 최적화하는 영역까지 직접 관여하며 개발 방식이 진화하고 있다.
Z.ai(지푸 AI)는 17일(현지시간) 자체 개발 모델 ‘GLM’을 기반으로 차세대 AI 모델의 추론 인프라를 직접 구축하고 최적화한 사례를 공개했다.
아직 AI가 후속 모델을 스스로 설계하고 학습하는 ‘재귀적 자기개선(RSI)’ 단계에 이른 것은 아니지만, GLM이 자신의 실행 환경을 개선하는 초기 단계가 나타나고 있다고 설명했다.
앞서 지난해 10월에는 사이버보안 분야에서 GLM의 역량을 시험해 코드 취약점을 찾아내는 성능을 확인했다. 이번에는 "GLM이 과거 숙련된 인프라 엔지니어들이 몇주에 걸쳐 수행했을 작업을 직접 완료하는 모습을 확인했다"며 "우리의 후계자는 우리가 직접 만들고 있는 AI 시스템이라는 생각이 더 확고해졌다"라고 전했다.
이번 작업에서 중심적인 역할을 맡은 것은 GLM-5.3 기반의 ‘인프라 에이전트(Infra Agent)’다. Z.ai는 중국산 AI 가속기 10만개 이상으로 구성된 대규모 클러스터에서 'GLM-5.3-플래시'를 구동할 수 있는 추론 시스템을 구축했다. 미국의 반도체 제재가 이어지는 상황에서 소프트웨어 생태계가 부족하고 문서화도 제대로 이뤄지지 않은 중국산 가속기를 대규모로 운영해야 했지만, AI 에이전트의 코드 분석 및 자동화 역량으로 이러한 어려움을 극복했다.
에이전트는 단순히 코드를 작성하고 수정하는 데 머물지 않았다. 성능을 측정하고 원인을 추적한 뒤 개선안을 시험하는 작업을 반복했다. 그 결과 GLM-5.3-플래시는 2주가 채 되지 않아 생산 환경에 투입됐고, 전체 처리량은 초기보다 약 3배 늘었다.
Z.ai가 마련한 ‘밀도 높은 피드백(Dense Feedback)’ 구조도 핵심적인 역할을 했다. 커널 테스트와 런타임 로그, 실행 추적, 마이크로벤치마크, 전체 서비스 성능 측정을 하나의 반복 과정으로 묶어 문제가 발생한 지점과 원인을 정밀하게 좁혀 나갔다. 덕분에 에이전트는 전체 서비스를 매번 재배포하지 않고도 작은 단위에서 가설을 즉시 검증할 수 있었다.
실제 문제를 해결한 사례도 이어졌다. GLM-5.3-플래시의 KDA 커널을 점검하던 중 FP32 입력에서도 tl.dot이 기본적으로 TF32 연산을 사용해 긴 컨텍스트에서 오차가 누적되는 문제를 발견했고, 연산 정밀도를 조정했다.
또한 KV 캐시 전송(KV Transfer) 과정에서 일부 C++ 함수가 파이썬의 GIL을 해제하지 않아 지연을 일으키는 현상을 찾아 수정했다. 이를 통해 성능 차이를 20%에서 1% 미만으로 크게 줄였다.
AI 에이전트는 기존 코드에 적용된 최적화 기술도 스스로 학습했다. SGLang, 플래시 선형 어텐션(Flash Linear Attention), 딥GEMM(DeepGEMM) 등 여러 오픈소스 고성능 커널 프로젝트에서 핵심 최적화 패턴을 추출한 뒤 ‘최적화 스켈레톤’으로 정리해 활용했다.
이와 함께 인프라 에이전트는 엔코드·프리필·디코드(EPD) 분리 아키텍처와 혼합 정밀도 캐시 양자화(INT8/FP8/BF16) 등 최신 최적화 기법도 폭넓게 적용해 시스템 효율을 높였다. 대표적인 KDA 디코드 커널에서는 중복 연산을 제거해 1.71배의 속도 향상을 달성했다.
이 같은 최적화가 쌓이면서 GLM-5.3-플래시의 추론 시스템 처리량은 약 3배 증가했다. 익명 모델명 ‘옥스 알파(Ox-Alpha)’로 공개된 뒤에는 불과 1주일 만에 주요 플랫폼에서 가장 많이 사용되는 모델이 됐고, 6일 동안 62조 토큰 이상을 처리했다.
Z.ai가 강조하는 지점은 단순한 성능 개선이 아니다. 그동안 인간 엔지니어의 경험에 의존했던 인프라 시스템 영역까지 AI가 직접 분석하고 코드를 수정하며 실험을 반복하는 선순환 프레임워크를 입증했다는 점이다. 특히 "모델이 시스템을 최적화하고, 시스템이 다시 모델을 실행하는 선순환 프레임워크를 입증했다"고 강조했다.
다만 "이를 RSI라고 부르기에는 아직 이르다"며 신중한 입장을 보였다. 최종적인 목표 설정과 위험 판단은 여전히 인간이 맡고 있기 때문이다. 그러나 "2주라는 개발 기간, 약 3배의 처리량 향상, 10만개 이상의 AI 가속기라는 성과는 AI가 AI 개발 과정에 참여하는 속도가 더 빨라질 것임을 보여준다"고 전했다.