HBM: AI 메모리 병목의 구조와 시장 — 기준 문서

AI 가속기의 성능은 이제 계산 속도보다 데이터를 공급받는 속도에서 갈린다. HBM(High Bandwidth Memory·고대역폭 메모리)은 D램을 수직으로 쌓아 이 공급 통로를 넓힌 메모리 규격으로, 엔비디아 GPU를 비롯한 AI 반도체의 필수 부품이 됐다. 이 문서는 HBM 태그의 기준 문서로, 원리와 세대 연표, 3사 구도, 남은 쟁점을 정리한다.

1. 사실 — HBM은 어떻게 작동하나

일반 D램은 기판 위에 칩을 평면으로 배열하고 좁은 통로로 데이터를 주고받는다. HBM은 이 칩을 4~16장 수직으로 쌓은 뒤 실리콘을 관통하는 미세 전극(TSV)으로 층과 층을 직접 연결한다. 완성된 스택은 실리콘 인터포저라는 중간 기판을 통해 GPU 바로 옆에 붙는다. 길고 좁은 국도 대신 짧고 넓은 다리를 놓는 방식이라, 낮은 동작 속도로도 훨씬 많은 데이터를 한꺼번에 옮긴다.

이 구조가 중요해진 배경은 연산과 메모리의 속도 격차, 이른바 '메모리 월'이다. 반도체의 계산 능력은 가파르게 늘었지만 메모리가 데이터를 내보내는 속도는 그만큼 늘지 못했다. 특히 대형 언어모델은 답을 한 조각 만들 때마다 수천억 개 파라미터를 메모리에서 읽어야 해서, 대역폭이 사실상 성능의 상한선이 된다. HBM의 데이터 통로는 스택당 1,024개(HBM4부터 2,048개)로, 칩당 32개 수준인 그래픽용 GDDR과 자릿수가 다르다. 전송 거리가 짧아 비트당 전력 소모가 적다는 점도 데이터센터에서는 결정적이다.

2. 근거 — 숫자·표

첫 표준이 나온 2013년 이후 HBM의 스택당 대역폭은 128GB/s에서 2TB/s로 약 16배 늘었다. 세대 교체 주기는 2년 안팎으로 짧아졌고, 2026년 현재 출하 주력은 HBM3E, 차기 주력은 양산 국면에 들어선 HBM4다.

공급은 SK하이닉스·삼성전자·마이크론 3사가 사실상 전부를 맡는다. 카운터포인트리서치 집계로 2025년 2분기 출하 점유율은 SK하이닉스 62%, 마이크론 21%, 삼성전자 17%였다. 1년 전 4%였던 마이크론이 2위로 올라섰고, 41%였던 삼성전자는 HBM3E 인증 지연의 여파로 3위로 내려앉았다. 2026년은 3사가 모두 HBM4 양산에 진입하며 순위가 다시 움직일 수 있는 해다.

*카운터포인트리서치, 출하량 기준.

3. 남은 변수 — 쟁점과 미확정 사항

첫 번째 변수는 수율이다. D램을 높이 쌓을수록 한 장의 불량이 스택 전체의 폐기로 이어져, 12단·16단으로 갈수록 원가 부담이 커진다. 기존 압착 방식 대신 구리 배선을 직접 접합하는 하이브리드 본딩이 대안으로 꼽히지만, 업계 보도에 따르면 HBM4 초기 제품은 기존 마이크로범프 방식을 유지했고 전환은 16단 이후로 밀리는 분위기다.

두 번째는 전력과 발열, 세 번째는 패키징이다. 비트당 효율이 좋아도 적층이 높아지고 속도가 오르면 총 발열은 늘어, 16단 시대에는 냉각 설계가 채용을 좌우한다. HBM과 GPU를 한 기판에 올리는 2.5D 패키징 생산능력은 공급망의 또 다른 병목이었다. HBM4부터 스택 맨 아래 베이스 다이를 TSMC 같은 파운드리의 로직 공정으로 만드는 흐름이 자리 잡으면서 메모리 회사와 파운드리의 경계도 흐려지고 있다.

미확정 사항도 있다. 2026년 연간 점유율 전망은 조사기관마다 갈리고, 커스텀 베이스 다이를 앞세운 HBM4E의 사양과 양산 시점(2027년 전후 보도)은 표준이 확정되지 않았다. 해당 수치는 확인되는 대로 이 문서에 반영한다. 개별 소식은 관련 기사 'SK하이닉스 HBM4 양산 확대'(05번), 'HBM4와 HBM3E 차이'(08번)에서 다룬다.

기준 문서 — 2026-08-01 최초 작성. 분기마다 갱신.