HBM(High Bandwidth Memory)이 무엇이며, AI 반도체와의 관계를 설명해보세요.

[HBM(High Bandwidth Memory)이란]

HBM(High Bandwidth Memory)은 다수의 DRAM 다이를 TSV(Through-Silicon Via, 실리콘 관통 전극)로 수직 적층하고, 실리콘 인터포저(Interposer)를 통해 GPU 또는 AI 가속기와 초근접하여 연결하는 고대역폭 메모리이다. 기존 GDDR 계열 DRAM 대비 훨씬 넓은 데이터 버스를 사용하여 극단적으로 높은 메모리 대역폭을 실현한다. 국제 표준화 기구인 JEDEC이 표준을 관리하며, HBM2→HBM2E→HBM3→HBM3E 순으로 세대가 발전하고 있다.

[원리 및 구조]

TSV 적층: 수직으로 뚫린 실리콘 관통 전극(TSV)을 통해 각 DRAM 다이를 전기적으로 연결하여 신호 경로를 대폭 단축한다. HBM3E 기준으로 버스 폭은 1024bit이며, 이를 여러 다이로 구성하면 수 TB/s 수준의 대역폭을 달성할 수 있다. CoWoS(Chip-on-Wafer-on-Substrate) 패키징을 통해 HBM 스택과 GPU 다이가 동일한 실리콘 인터포저 위에 나란히 배치되어 에너지 효율도 함께 향상된다.

[AI 반도체와의 관계]

대규모 언어 모델(LLM) 학습 및 추론 시에는 수백GB에 달하는 파라미터를 빠르게 읽어야 하므로 메모리 대역폭이 연산 속도를 좌우하는 핵심 요소가 된다. 이를 '메모리 병목(Memory Wall)'이라 하며, HBM은 이를 근본적으로 해소하는 솔루션으로 주목받고 있다. NVIDIA의 H100은 HBM3 80GB, 대역폭 3.35TB/s를 제공하며, H200은 HBM3E 141GB, 4.8TB/s로 한 단계 더 발전하였다. SK하이닉스는 2024년부터 NVIDIA H200용 HBM3E를 공급하며 AI 메모리 시장을 주도하고 있으며, 삼성전자와 Micron도 HBM3E 양산 경쟁에 합류하였다.