HBM(고대역폭 메모리)은 여러 개의 D램을 수직으로 쌓아 올려, 일반 메모리보다 훨씬 빠른 속도로 데이터를 주고받을 수 있게 만든 반도체다. AI 연산은 방대한 데이터를 끊임없이 읽고 써야 하는데, 연산 속도만 빠르고 메모리가 이를 못 따라가면 결국 GPU가 데이터를 기다리며 노는 시간이 늘어난다. 이 문제는 흔히 ‘메모리 벽(memory wall)‘이라고 불린다. 연산 장치의 속도는 계속 빨라져 왔지만 메모리가 데이터를 공급하는 속도가 그만큼 따라가지 못해, 실제 성능이 메모리 대역폭에 의해 발목 잡히는 현상이다.
HBM4 규격과 엔비디아의 요구
HBM은 이 벽을 낮추기 위해 등장한 기술이다. 차세대 규격인 HBM4는 스택당 1.5TB/s 이상의 대역폭과 48GB 용량을 목표로 하며, 새로운 베이스-로직 다이 구조를 도입해 메모리 아키텍처 자체를 크게 손보고 있다. 엔비디아는 2026년 4분기 물량으로 16단 적층 HBM4를 요청한 것으로 알려져 있다.
메모리 3사의 점유율 경쟁
SK하이닉스·삼성전자·마이크론이 엔비디아 공급 물량을 두고 치열하게 경쟁하고 있다.
| 제조사 | 점유율 (2025년 3분기 기준) |
|---|---|
| SK하이닉스 | 약 53% |
| 삼성전자 | 35% |
| 마이크론 | 11% 안팎 |
2025년 3분기 기준 SK하이닉스가 약 53%, 삼성전자가 35%, 마이크론이 11% 안팎의 점유율을 차지하는 것으로 알려져 있는데, 이 경쟁 구도가 곧 AI 칩 전체의 공급망 안정성과 직결된다.
일반 D램보다 까다로운 공정
HBM 생산은 일반 D램보다 훨씬 까다로운 공정을 요구한다. 여러 층의 다이를 정확히 쌓고 미세한 관통 전극(TSV)으로 연결해야 하기 때문에, 수율을 끌어올리는 것 자체가 제조사들의 핵심 경쟁력이 되고 있다.
칩플레이션과 단기 공급 부족
이런 공급 제약은 최근 화제가 된 ‘칩플레이션’ 현상과도 직접 연결된다. AI 인프라 투자 수요가 메모리 공급을 앞지르면서 가격이 급등했고, 그 여파가 일반 소비자용 전자기기 가격에까지 번지고 있다. 메모리 업계에서는 HBM 생산 능력을 늘리기 위한 신규 라인 투자가 각 제조사별로 동시에 진행되고 있다.
다만 신규 라인이 가동되기까지는 통상 1~2년의 시차가 있어, 단기적인 공급 부족은 쉽게 해소되지 않는다는 전망이 우세하다.
서버 원가와 주가를 흔드는 HBM
HBM 가격은 이제 GPU 서버 전체 원가에서 무시할 수 없는 비중을 차지한다. 일부 분석에서는 최신 AI 서버 원가의 상당 부분이 메모리 비용으로 채워진다고 볼 정도로, HBM의 비중이 커지고 있다. HBM 경쟁은 메모리 3사의 주가와 실적 발표에도 직접적인 영향을 준다. 특정 제조사가 대형 고객사와의 공급 계약을 발표할 때마다 업계 전체의 공급망 지형이 다시 그려지는 모습이 반복되고 있다.
발열·전력 효율과 수율 경쟁
차세대 HBM 개발 경쟁은 이제 단순 용량과 대역폭을 넘어, 발열 관리와 전력 효율까지 함께 고려하는 방향으로 확장되고 있다. 성능만 좋고 전력을 지나치게 많이 먹는 메모리는 AI 팩토리의 전력 병목을 오히려 악화시키기 때문이다. HBM 생산 수율(불량 없이 만들어지는 비율)은 공정 난이도가 워낙 높아 여전히 도전 과제로 남아있다. 수율이 조금만 개선돼도 공급량과 가격에 큰 영향을 미치기 때문에, 각 제조사의 수율 개선 소식은 업계 전체가 주시하는 지표다.
대체 기술과 신규 진입자
메모리 업체들은 HBM 외에도 이를 대체하거나 보완할 차세대 메모리 기술 개발에도 함께 투자하고 있다. 특정 기술 하나에 의존하는 위험을 줄이려는 전략이다. HBM은 AI 가속기 원가에서 차지하는 비중이 계속 커지고 있어, 메모리 가격 변동이 곧 AI 서비스 원가에도 직접 영향을 미치는 구조가 됐다. 메모리 3사 외에 새로운 진입자가 HBM 시장에 도전하려는 움직임도 있지만, 워낙 높은 기술 장벽 때문에 단기간에 판도가 바뀌기는 어렵다는 것이 중론이다.
결국 HBM을 둘러싼 경쟁은 AI 하드웨어 산업 전체의 축소판이라 할 수 있다. 소수의 기업만이 최첨단 기술을 보유한 구조가, AI 발전의 속도와 방향성 자체에 큰 영향을 미치고 있는 셈이다. 국내 메모리 기업들의 HBM 기술력은 글로벌 AI 반도체 공급망에서 핵심적인 위치를 차지하고 있으며, 이는 국가 경제에도 상당한 영향을 미치는 요인으로 꼽힌다.
정리
결국 HBM은 GPU 성능 경쟁의 그늘에 가려져 있지만, 실제로는 AI 인프라 전체의 실질적인 병목이자 가장 치열한 공급망 전쟁터다.
연산 장치보다 메모리가 먼저 한계에 부딪히는 시대라는 평가도 나온다.