생성형 AI 경쟁이 심화되면서 비싼 GPU를 무조건 늘리는 방식에서 벗어나, 기존 인프라를 얼마나 효율적으로 활용하느냐가 핵심 경쟁력으로 부상했다. 한국 스타트업들이 GPU 활용률, 데이터 크기, 모델 최적화 등 다층적인 소프트웨어 기술로 이 문제를 풀어내고 있다.

래블업의 GPU 가상화: 활용률 95% 달성

AI 인프라 스타트업 래블업은 하나의 GPU를 다수의 가상 GPU처럼 분할하는 기술로 접근한다. 자사 플랫폼 'Backend.AI'를 통해 GPU를 여러 작업에 자동으로 배분하며, 이를 통해 GPU 활용률을 최대 95%까지 끌어올릴 수 있다.

실제 적용 사례로, 국민대는 이 기술을 활용해 16개의 GPU를 100개 이상의 가상 GPU로 분할했다. 결과적으로 약 80명의 학생이 동시에 머신러닝 실습을 수행할 수 있게 되었다. 같은 장비로 대폭 더 많은 AI 개발과 학습이 가능해진 셈이다.

데이터 경량화 전략: 그리네타와 클리카

반면 그리네타와 클리카는 GPU가 다루는 데이터와 모델 자체를 줄이는 방식으로 효율성을 추구한다.

그리네타의 3D 데이터 압축 기술은 공장, 건물 같은 현실 공간을 컴퓨터에 복사한 '디지털 지도'인 3D 데이터를 대상으로 한다. 라이다(LiDAR)로 생성된 고용량 데이터의 품질을 거의 손상시키지 않으면서 크기를 최대 37분의 1로 축소한다. 산업 현장에서는 100기가바이트(GB) 이상의 LiDAR 데이터를 95% 이상 압축하면서도 시각적 품질을 유지하는 결과를 냈다.

클리카의 모델 최적화 소프트웨어는 AI 모델을 자동으로 압축·컴파일해 다양한 서버와 기기에서 즉시 실행할 수 있도록 한다. 이를 통해 모델 크기를 최대 95% 줄이고 실행 속도는 최대 10배 향상시킬 수 있으며, AI 인프라 운영 비용을 크게 절감한다.

인포시즈: 데이터 구조의 지능화

인포시즈는 GPU와 용량보다 데이터 '구조'에 집중한다. 기업 내부에 흩어진 데이터를 관계 중심으로 연결하는 '지식 그래프' 기술을 보유하고 있으며, 자체 온톨로지(데이터의 관계·의미를 AI가 이해하도록 정의하는 모델) 엔진으로 AI의 단순 검색을 넘어 문맥 이해까지 가능하게 한다.

핵심 수치로 본 효율성 경쟁

기술 구분 기업 주요 성과 수치
GPU 가상화 래블업 활용률 95%, 16개 → 100개 이상 분할
3D 데이터 압축 그리네타 크기 37분의 1 축소, 95% 이상 압축
모델 최적화 클리카 크기 95% 축소, 속도 10배 향상

결론

GPU 부족 시대, 한국 스타트업들은 하드웨어 확장이 아닌 소프트웨어 최적화로 AI 효율성을 높이는 데 집중 중이다. 래블업의 95% 활용률, 그리네타의 37분의 1 압축, 클리카의 95% 모델 축소 등 구체적인 수치들은 이미 검증된 기술의 현실성을 보여준다.

다음 단계:
- 현재 운영 중인 AI 인프라의 GPU 활용률 진단 필요
- 대규모 3D 데이터를 다루는 경우 데이터 경량화 기술 도입 검토
- 기존 AI 모델 최적화 솔루션 벤치마킹을 통한 비용 절감 추정