현황: AI 경쟁의 중심이 추론으로 이동하다
AI 산업의 무게중심이 학습에서 추론으로 이동하면서, 데이터를 얼마나 빠르고 적은 전력으로 이동시키는지가 핵심 과제가 되고 있다. 삼성전자와 SK하이닉스는 2026년 9월 16일 미국 캘리포니아주 샌타클라라에서 열린 ‘AI 인프라 서밋 2026’에서 서로 다른 차세대 메모리 해법을 제시하고 있다.
삼성전자는 3차원 적층 구조를 앞세운다. zHBM은 AI 가속기 상단에 HBM을 직접 얹는 방식이고, zNAND-O는 낸드를 수직으로 쌓고 실리콘 관통 전극(TSV)으로 연결하는 기술이다. 데이터 이동거리를 줄이고, 값비싼 D램 사용량을 낮추는 데 초점이 있다.
SK하이닉스는 PIM과 HBF를 강조한다. PIM은 메모리 내부에서 연산하도록 해 프로세서와 메모리 사이의 데이터 이동을 줄이는 기술이다. HBF는 TSV를 적용한 고대역폭 플래시로 소개되고 있다.
삼성전자는 대화형 AI의 이용자당 응답속도를 초당 100토큰 수준에서 에이전트형 AI에 필요한 초당 1000토큰으로 높이는 목표를 제시한다.
원인: 데이터 이동과 전력 효율이 병목이다
이번 경쟁은 단순한 메모리 용량 확대보다 데이터 병목 해소에 가깝다. AI 추론은 사용자의 요청에 실시간으로 답해야 하므로, 메모리와 연산장치 사이의 이동거리와 처리 지연이 응답속도에 직접 영향을 줄 수 있다.
삼성전자는 2026년 8월 플래시 메모리 행사에서 zHBM 목업을 공개하고, zHBM4가 차세대 HBM5보다 최대 8배 성능과 3배 이상 전력 효율을 구현한다고 설명한다. 이는 회사가 수직 적층을 성능과 전력 문제를 동시에 겨냥한 전략으로 보고 있음을 보여준다.
다만 금리, 환율, 정부 정책 등 거시 변수에 대한 구체적 수치는 이번 뉴스에 제시되지 않는다. 따라서 현재 확인 가능한 경제적 의미는 메모리 업계의 기술 투자 방향이 학습용 대역폭에서 추론용 지연시간과 전력 효율로 넓어지고 있다는 점이다.
실무적으로는 기술을 평가할 때 다음 지표를 분리해 확인할 필요가 있다.
- 응답속도: 초당 처리 토큰 수
- 구조: 가속기 직접 적층인지, 메모리 내부 연산인지
- 효율: 기존 제품 대비 전력 절감 폭
- 비용: D램 사용량을 실제로 줄이는지
전망: 단일 승자보다 용도별 경쟁 가능성
향후 흐름은 한 가지 기술이 모든 수요를 대체하기보다, AI 추론 환경에 따라 갈릴 가능성이 있다. 초저지연이 중요한 영역에서는 zHBM처럼 가속기와 메모리의 거리를 줄이는 방식이 주목받을 수 있다. 저장 데이터 규모와 비용 효율이 중요한 영역에서는 zNAND-O나 HBF가 대안으로 검토될 수 있다. 반복 연산과 데이터 이동을 줄이는 데는 PIM의 역할이 부각될 수 있다.
다만 현재 뉴스만으로 실제 상용화 시점, 공급 규모, 고객 채택 여부를 단정하기는 어렵다. 앞으로는 초당 1000토큰 목표가 실제 시스템 성능으로 구현되는지, 삼성전자와 SK하이닉스의 기술이 각각 어떤 AI 인프라에 적용되는지를 확인해야 한다.
결론
삼성전자와 SK하이닉스의 경쟁은 AI 메모리의 기준이 용량 중심에서 추론 응답속도와 전력 효율 중심으로 이동하고 있음을 보여준다. 독자는 제품 발표를 볼 때 다음을 우선 확인할 필요가 있다.
- 초당 토큰 처리량이 어떤 조건에서 측정됐는지 확인한다.
- 성능 배수와 전력 효율을 기존 세대와 함께 비교한다.
- zHBM·zNAND-O·PIM·HBF 중 적용 대상과 비용 구조를 구분한다.
- #삼성전자
- #SK하이닉스
- #AI추론메모리
- #zHBM
- #PIM