LLM VRAM 요구사항: 2026년 마스터 테이블 (모든 모델, 모든 양자화)
모두를 놀라게 하는 숫자가 하나 있습니다: DeepSeek-V3.2는 6,710억 개의 파라미터를 가지고 있지만, 주어진 토큰에서는 단 370억 개만 활성화됩니다. 그렇다면 실제로 필요한 VRAM은 얼마일까요? 대략 Q4에서 382GB 정도로 전체 6,710억 개 파라미터만큼입니다. LLM VRAM 요구사항은 직관과 거의 맞지 않는 경우가 많으며, "활성 파라미터"와 "실제로 로드해야 하는 것" 사이의 간격이 바로 하드웨어 예산이 폭발하는 지점입니다. 이 가이드는 마스터 테이블(모든 주요 오픈 모델, 모든 양자화 수준, GB 수치 및 이를 실행할 수 있는 GPU)과 약 10초 안에 모든 모델의 크기를 계산할 수 있는 공식을 제공합니다.
핵심 요점
- 가중치의 VRAM ≈ 파라미터 × 파라미터당 바이트: FP16 = 2.0, Q8 = 1.0, Q5 K M ≈ 0.68, Q4 K M ≈ 0.57. 이에 KV 캐시와 약 15-20%의 오버헤드를 더하면 됩니다.
- Mixture-of-Experts 모델(DeepSeek, GLM-5.2, Qwen3-235B)은 모든 전문가를 VRAM에 로드해야 합니다. "활성 파라미터"는 속도를 향상시키지만 메모리를 절약하지는 못합니다.
- KV 캐시는 숨겨진 비용입니다. Llama 3.3 70B는 8K 컨텍스트에서 약 2.6GB의 캐시가 필요하며, 128K에서는 가중치 위에 약 41GB 정도가 필요합니다.
- Q4 K M은 합리적인 기본값입니다: 거의 전체 품질을 유지하면서 FP16 용량의 약 1/4 수준으로 줄어듭니다.
- 12B 모델(예: Gemma 4)은 Q4에서 8GB 카드에 맞고, 70B 밀집 모델은 약 40GB가 필요하며, 671B 최첨단 MoE는 소형 서버 수준의 메모리가 필요합니다.
모델별 LLM VRAM 요구사항: 마스터 테이블
간단한 답변: Q4 K M에서 소형 모델(14B 미만)은 소비자용 8-12GB 카드에 맞고, 중형 모델(24-32B)은 16-24GB를 원하며, 70B 밀집 모델은 약 40GB가 필요하고, 최첨단 MoE 모델은 모든 전문가를 메모리에 두어야 하므로 수백GB로 증가합니다. 다음은 한 곳에서 전체 그림을 볼 수 있습니다. 모든 수치는 각 모델의 파라미터 개수에서 계산한 가중치만을 위한 메모리이며, Meta AI, Qwen, Hugging Face의 공식 모델 카드와 교차 검증되었습니다.
이 표에서 읽어야 할 두 가지가 있습니다. 첫째, 양자화는 당신이 가진 가장 큰 영향력입니다: FP16에서 Q4로 드롭하면 거의 눈에 띄지 않는 품질 손실로 용량을 대략 4배 줄입니다. 둘째, MoE 행은 가혹해 보이는데 실제로 그렇습니다. Qwen3-30B-A3B는 토큰당 3B 파라미터만 활성화하므로 작은 모델의 속도로 실행되지만, 여전히 모든 전문가를 준비하기 위해 모든 30B를 메모리에 보관해야 합니다. 이 숫자들 뒤의 모델별 세부 사항을 원하신가요? Gemma 4 12B 심층 분석과 2026년 최고의 오픈소스 LLM 요약은 벤치마크와 라이선스를 다룹니다.
Q4_K_M에서의 가중치를 위한 VRAM (GB)
VRAM 공식: 모든 모델을 직접 계산하기
모든 모델의 크기를 조정하려면 파라미터 개수에 양자화에 대한 파라미터당 바이트를 곱한 후 KV 캐시와 런타임 오버헤드를 위해 약간 더하면 됩니다. 이것이 전부입니다. 가중치는 주요 항이며, 산술은 냅킨 뒷면에서 계산할 수 있을 정도로 충분히 간단합니다.
가중치의 핵심 방정식:
필요한 비트/가중치 값(이는 명목 비트 깊이 위에 약간의 블록 메타데이터를 포함하는 GGUF k-quant 파일의 효과적인 비율입니다):
작동 예시, Gemma 4 12B at Q4 K M: 11.95 × 4.5 ÷ 8 = 가중치의 약 6.7 GB. 이는 공식 모델 카드에서 인용한 약 6.6GB와 일치하며, 8GB 카드에 적당한 컨텍스트용 공간이 있는 이유를 설명합니다. 70B 모델에 대해 동일한 수학을 실행하면 70 × 4.5 ÷ 8 = 39.4 GB를 얻게 되며, 이것이 "70B에는 24GB 카드 2개 또는 48GB 카드 1개가 필요합니다"라는 경험칙이 모두가 반복하는 이유입니다.
전체 그림은 두 개의 추가 항을 추가합니다: 총 VRAM ≈ 가중치 + KV 캐시 + ~15-20% 오버헤드. 오버헤드는 활성화 버퍼, CUDA 컨텍스트, 메모리 단편화를 포함하며, GPU는 드라이버용으로 약 0.5GB도 예약하므로 스티커 VRAM의 100%를 사용하도록 계획하지 마세요.
KV 캐시가 당신을 깨물 수 있는 숫자인 이유
KV 캐시는 이미 컨텍스트에 있는 모든 토큰에 대한 어텐션 키와 값을 저장하며, 컨텍스트 길이에 따라 선형으로 증가합니다. 짧은 프롬프트에서는 반올림 오차입니다. 긴 컨텍스트로 나아가면 가중치 자체와 같거나 초과할 수 있습니다. 이것은 모델이 "맞아야 하는데" 생성 중 메모리 부족 오류를 발생시키는 가장 일반적인 단일 이유입니다.
토큰당 공식:
Llama 3.3 70B를 예로 들어보세요: 80 레이어, 8 KV 헤드, 헤드 치수 128, 따라서 kv_dim은 1024입니다. FP16에서는 80 × 2 × 1024 × 2 = 토큰당 327,680 바이트, 약 0.31 MB입니다. 컨텍스트 길이를 곱하면 이야기가 쓰입니다: 8K 토큰에서 캐시는 대략 2.6GB, 32K에서는 약 10GB, 128K에서는 약 41GB로 부풀어집니다. 마지막 수치는 40GB의 가중치 위의 것이므로, "40GB 모델"은 윈도우를 채우는 순간 조용히 80GB 문제가 됩니다.
두 가지 실질적인 탈출구가 있습니다. Grouped-query attention(모든 최근 모델이 사용함)은 이미 이전 multi-head 설계에 비해 kv_dim을 크게 줄이므로, 현대 모델은 Llama 2보다 훨씬 친절합니다. 대부분의 추론 엔진은 KV 캐시를 8비트 또는 4비트로 양자화할 수 있으며, 작은 품질 비용으로 그 크기를 반으로 또는 1/4로 줄입니다. 프로덕션에서 긴 컨텍스트를 제공하는 경우, vLLM vs SGLang 비교는 어느 백엔드가 paged attention으로 이 메모리를 가장 효율적으로 관리하는지 다룹니다.
MoE 모델: "활성 파라미터"가 VRAM을 절약하지 못하는 이유
이것은 사람들이 가장 많은 돈을 낭비하게 만드는 함정입니다. DeepSeek-V3.2(6,710억 총, 370억 활성, V3 아키텍처 공유) 또는 GLM-5.2(7,440억 총, 400억 활성) 같은 Mixture-of-Experts 모델은 각 토큰을 해당 전문가의 작은 부분집합을 통해 라우팅합니다. 마케팅은 활성 숫자에 집중하는데 그것이 속도를 설명하기 때문입니다: 토큰당 370억 파라미터분의 계산만 지불하므로 모델의 크기 대비 추론이 빠릅니다. 하지만 모든 전문가는 메모리에 앉아서 선택될 준비가 되어야 하므로 VRAM 예산은 활성 파라미터가 아닌 전체 파라미터 수로 설정됩니다.
그래서 위 표의 정직한 읽기: GLM-5.2는 40B 모델의 속도로 실행되지만 744B 모델의 메모리를 차지합니다. 이것이 이 최첨단 오픈 모델이 8-GPU 서버나 대용량 통합 메모리 머신이 필요한 이유이며, 단일 포워드 패스는 저렴합니다. Qwen3-235B-A22B는 더 작은 규모의 동일한 형태로, 토큰당 빠르지만, 호스팅하는 데 무겁습니다.
MoE의 장점은 통합 메모리 하드웨어에서 나타납니다. 512GB의 통합 메모리를 가진 Mac Studio는 Q4에서 671B 모델을 보유할 수 있으며 토큰당 메모리 대역폭 요구가 합리적으로 유지되므로 여전히 사용 가능한 속도로 실행할 수 있습니다. 단 370억 개만 활성화되기 때문입니다. 이들을 로컬에서 실행하는 것이 처음이라면, 하드웨어에 돈을 쓰기 전에 먼저 로컬 LLM 설정 가이드를 참고하세요.
어떤 양자화를 선택해야 할까요?
거의 모든 사람에게 Q4 K M이 올바른 기본값입니다: 거의 전체 품질을 유지하면서 FP16 용량을 약 4배 줄입니다. VRAM 여유가 있고 품질에 민감한 작업이 있다면 Q5 K M이나 Q8로 올려가고, 미세 조정이나 참조에 대한 벤치마킹을 할 때만 FP16에 도달하세요. Q4 아래에서는 품질 저하가 빠르게 눈에 띄므로, Q3 및 그 이하는 정말 너무 작은 카드에 모델을 짜내는 마지막 수단입니다.
한 가지 주의사항: 양자화 품질은 모델 전체에서 동일하지 않습니다. 매우 작은 모델(4B 미만)은 중복성을 유지할 여유가 적으므로 Q4를 더 느낀다. 70B 모델에서는 대부분의 작업에서 Q4 대 Q8을 구별하기 어렵습니다. 1.7B 모델에서는 간격이 실제입니다.
실제로 어떤 GPU가 필요할까요?
마스터 테이블의 Q4 열을 KV 캐시용 여유 공간이 있는 카드와 일치시킵니다. 여기서 소비자용 하드웨어부터 데이터 센터까지의 실질적인 매핑 및 Q4에서 각 클래스가 편하게 실행할 수 있는 모델 계층을 소개합니다.
...