HBM

1. 概述

High Bandwidth Memory (HBM) 是一种面向 3D 堆叠同步动态随机存取存储器 (SDRAM) 的计算机内存接口技术，由 Samsung、AMD 与 SK Hynix 联合研发。2013 年 10 月，HBM 被 JEDEC 采纳为行业标准 (JESD235)。该技术通过将多枚 DRAM 裸片垂直堆叠，并利用硅通孔 (Through-Silicon Via, TSV) 和微凸点 (Microbumps) 实现层间互联，再经由硅中介层 (Silicon Interposer) 与 GPU 或加速器紧密耦合，从而在远小于传统 DDR/GDDR 方案的体积和功耗下，实现数十倍于后者的数据传输带宽。

HBM 的首枚商用芯片由 SK Hynix 于 2013 年制造完成，首款搭载 HBM 的产品则是 2015 年发布的 AMD Fiji 系列 GPU。此后 HBM 持续迭代：HBM2 (2016 年标准化)、HBM2E (2019 年)、HBM3 (2022 年)、HBM3E (2023 年)，至 2025 年 4 月 JEDEC 正式发布了 HBM4 标准，将接口宽度翻倍至 2048-bit，单堆栈带宽达到 2 TB/s。

2025 年全球 HBM 市场规模约为 380 亿美元，预计 2026 年增长至 580 亿美元。在这一市场中，SK Hynix 以 62% 的市占率遥遥领先，美光 (Micron) 以 21% 居次，而三星则因 HBM3E 认证受阻，份额从 2024 年第二季度的 41% 骤降至 2025 年同期的 17%。HBM 的增长驱动力几乎完全来自人工智能基础设施的需求——一个 HBM 堆栈的晶圆产能可以消耗相当于 3 个 DDR5 晶圆的产能，导致通用 DRAM 供应持续紧张。

2. 技术架构

2.1 3D 堆叠结构

HBM 与传统 2D 平面封装内存 (DDR/GDDR) 的本质区别在于其垂直堆叠架构。典型的 HBM 堆栈从下至上包含以下层次：

• GPU/加速器裸片： 位于封装最底层，承担计算职能。
• 硅中介层 (Silicon Interposer)： 承载 GPU 和 HBM 堆栈的硅基板，提供高密度互联布线。对于 55mm 至 65mm 的大型封装，中介层是目前唯一成熟的解决方案。
• 基础逻辑裸片 (Base Logic Die)： 位于 DRAM 堆栈的最底层，集成了缓冲、测试和控制器逻辑。TSMC 是多家 HBM 厂商基础逻辑裸片的主要代工厂。
• DRAM 裸片层： 从 1 层到最高 16 层垂直堆叠。层数决定了总容量——HBM1 使用 4 层堆叠 (4-high)，HBM4 最高支持 16 层。

各 DRAM 层之间通过 TSV 和微凸点进行垂直互联。TSV 是贯穿整个硅片的导电通道，提供最短的层间信号路径；微凸点则是焊料球连接点，在层与层之间形成电气和机械连接。

2.2 关键互联技术

TSV (Through-Silicon Via)： 穿透硅片上的微小垂直导电通道，间距从早期 HBM 的约 40um 逐步缩小至 HBM4 预期的约 10um。TSV 间距直接决定了微凸点的尺寸——间距越小，凸点也越小。

Microbumps (微凸点)： 目前 HBM 堆叠的标准层间连接方式。HBM4 之前，微凸点间距约为 40um；HBM4 将这一间距推近至约 10um。JEDEC 将 HBM4 的堆叠高度限制从 720um 放宽至 775um，使得继续使用微凸点成为可能。这一决策暂时推迟了混合键合的大规模采用。

Hybrid Bonding (混合键合)： 一种无焊料的直接 Cu-Cu 键合技术，在消除微凸点后，层间间距可进一步缩小。混合键合可使能耗降低约一个数量级。但该技术面临显著的良率和测试挑战：键合界面要求零颗粒污染，测试探针可能损坏键合表面，因此需要表面平面化修复等特殊流程。HBM4 继续使用微凸点，混合键合预计将在 HBM4E 或 HBM5 开始采用。

Interposer (中介层)： 硅中介层承载 GPU 与最多 8-16 个 HBM 堆栈。其工艺要求极高——55-65mm 封装尺寸内的布线密度远超 PCB 所能实现的范围。中介层的制造成本是 HBM 封装成本的重要组成部分。

2.3 通道架构

HBM 的带宽优势来源于其超宽总线架构：

• HBM1/HBM2/HBM2E： 每堆栈 8 通道 x 128-bit = 1024-bit 总宽度。
• HBM3： 通道数翻倍至 16 通道，但每通道宽度降至 64-bit，总宽度保持 1024-bit。
• HBM4： 通道数再次翻倍至 32 通道 x 64-bit = 2048-bit 总宽度。这一变化是 HBM 历史上最大的一次接口架构变革，影响遍及整个内存子系统——内存控制器、PHY 层、中介层布线均需重新设计。

HBM 带宽的计算公式为：总带宽 (GB/s) = 数据速率 (GT/s) x 总线宽度 (bit) / 8。以 HBM4 为例：8 GT/s x 2048-bit / 8 = 2048 GB/s (2 TB/s)。

2.4 HBM-PIM (存内处理)

Samsung 于 2021 年发布的 HBM-PIM 将 AI 计算引擎直接嵌入每个 DRAM bank 内部，使数据在存储位置即可完成运算，大幅减少数据搬运。该技术声称可提供 2 倍系统性能提升和超过 70% 的能耗降低，且无需对系统硬件或软件进行修改。HBM-PIM 代表了 HBM 从纯粹存储设备向近存计算平台演进的一个重要方向。

Sources: Wikipedia; Samsung HBM-PIM Press Release (2021); SemiEngineering (Jan 2026)

3. 代际演进

3.1 各代规格对比

从 HBM1 到 HBM4，在约 13 年间，单堆栈带宽从 128 GB/s 增长至 2 TB/s，提升了约 16 倍；容量从 4 GB 增长至 64 GB，提升了 16 倍；堆栈深度从 4 层增至 16 层，提升了 4 倍。

3.2 各代核心技术里程碑

HBM1 (2013)： 确立了 3D 堆叠 DRAM 和 TSV 互联的基本架构。SK Hynix 制造了首枚芯片，AMD Fiji GPU 为首款商用产品。

HBM2 (2016)： 将引脚速率提升至 2.4 Gb/s，支持 8 层堆叠。Samsung 率先在 2016 年 1 月宣布量产，同月 JEDEC 发布标准。NVIDIA Tesla P100 为首款采用 HBM2 的 GPU。

HBM2E (2019)： 速率提升至 3.6 Gb/s，支持 12 层堆叠，单栈容量最高达 24 GB。Samsung 的 Flashbolt (3.2 GT/s, 16 GB/栈, 410 GB/s) 和 SK Hynix 的 HBM2E (3.6 GT/s, 460 GB/s) 分别于 2019 年推出。

HBM3 (2022)： 关键架构变化：通道架构从 8x128-bit 改为 16x64-bit，总宽度维持 1024-bit。引脚速率达到 6.4 Gb/s，单栈带宽 819 GB/s。SK Hynix 于 2022 年 6 月率先量产，配套 NVIDIA H100 GPU。HBM3 是支撑当前 AI 大模型训练浪潮的核心内存技术。

HBM3E (2023)： 在 HBM3 架构基础上的速度增强版本，引脚速率提升至 9.8 Gb/s，单栈带宽达 1.23 TB/s。SK Hynix、Micron 和 Samsung 三家均推出了各自的 HBM3E 产品，其中 Micron 率先达到 9.6 Gb/s 并获 NVIDIA H200/B200 设计中标。SK Hynix 率先完成 12 层 (2024.09) 和 16 层 (2024.11) HBM3E 的批量生产。

HBM4 (2025)： 自 HBM 问世以来最重大的架构升级。核心变化是接口宽度翻倍至 2048-bit，通道数增至 32。引脚速率较 HBM3E 略有下降 (8 GT/s)，但凭借翻倍的总线宽度仍然实现 2 TB/s 的带宽。JEDEC 在 2025 年 4 月正式发布标准。SK Hynix 已完成开发并称其产品超出 JEDEC 规格 25% (10 GT/s)。详见第 7 节。

3.3 HBM4 关键规格详解

HBM4 的官方规范包含以下核心参数：

• 接口宽度： 2048-bit (HBM3 的两倍)
• 数据速率： 最高 8 Gb/s/pin
• 单栈带宽： 2 TB/s (8 堆栈 GPU 可达 13 TB/s 以上)
• 通道配置： 32 通道 x 64-bit (或 64 个 32-bit 伪通道)
• 堆栈深度： 4 至 16 层
• DRAM 裸片密度： 24 Gb 或 32 Gb
• 单栈容量： 最高 64 GB
• 向后兼容： 兼容 HBM3 控制器
• 键合方式： 微凸点 (Microbumps)，混合键合推迟至后续世代

Sources: Wikipedia; JEDEC HBM4 Standard (April 2025); Rambus HBM4 Memory Controller

4. 行业竞争格局

4.1 三足鼎立与市场份额剧变

全球 HBM 市场由三家 DRAM 巨头垄断：SK Hynix (SK 海力士)、Samsung Electronics (三星电子) 和 Micron Technology (美光科技)。近两年来，市场格局发生了剧烈变化。

2025 年第二季度 HBM 市占率分布：

• SK 海力士：62% (2024 Q2: ~51%)
• 美光 (Micron)：21% (2024 Q2: ~5%)
• 三星 (Samsung)：17% (2024 Q2: ~41%)

三星的份额在一年内从 41% 暴跌至 17%，而 SK 海力士和美光则获得了显著增长。这一变动的直接原因是三星的 HBM3E 未能通过 NVIDIA 的质量认证测试，导致其在 AI 内存的黄金市场中失去了大量订单。这一格局变化还带动了更广泛的 DRAM 市场洗牌——2025 年第一季度，SK 海力士首次超越三星成为全球最大的 DRAM 制造商 (36% vs 34%)。

4.2 SK 海力士：市场领导者

SK 海力士在 HBM 领域建立了一系列 “第一” 的记录：

• 全球首个量产 HBM 芯片 (2013)
• 全球首个量产 HBM3 并配套 NVIDIA H100 (2022.06)
• 全球首个量产 HBM3E 12 层堆叠 (2024.09)
• 全球首个量产 HBM3E 16 层堆叠 (2024.11)
• 全球首个完成 HBM4 开发，性能超出 JEDEC 标准 25% (10 GT/s vs 8 GT/s)

SK 海力士已成为 NVIDIA 的 HBM 首选供应商，这一关系直接驱动了其市场领先地位。该公司正大规模扩张产能——月产能从 10,000 片晶圆 (2024) 向 70,000 片以上 (2025-2026) 迈进。HBM4 量产计划于 2026 年上半年启动。

4.3 三星：从领导者到追赶者

三星在 HBM 领域的地位逆转堪称近年来内存市场最引人注目的事件之一：

• 2024 Q2： 市场份额 ~41%，与 SK 海力士基本持平
• 主要转折： HBM3E 未能通过 NVIDIA 的严格认证测试
• 影响： 三星 HBM 销售额主要依赖老一代的 HBM3，而竞争对手已全面转向 HBM3E 出货
• 市场份额骤降至： 17% (2025 Q2)

三星的 HBM4 战略正在加速。2025 年第三季度，三星开始向 NVIDIA 大量出货 HBM4 样品以供早期认证。同时，据行业报道，三星将成为 AMD MI450 加速器的主要 HBM4 供应商。三星的 HBM4 量产目标设定在 2026 年上半年。分析师预计，随着 HBM3E 产品通过认证和 HBM4 进入大规模供应，三星的市场地位将在 2026 年得到一定程度的修复。

4.4 美光：逆袭的追赶者

美光是三大厂商中生产规模最小的一家，但其 HBM 战略执行十分精准：

• 技术突破： HBM3E 率先达到 9.6 Gb/s 的引脚速率 (超过 SK 海力士)
• NVIDIA 认证： 成功获得 H200 和 Blackwell B200 的设计中标
• 市场份额增长： 从 ~5% (2024 Q2) 增长至 21% (2025 Q2)，增幅超过 300%
• HBM4 进展： 2025 年 6 月开始向客户出货 HBM4 样品，提供 36 GB 12 层堆叠；2025 年第四季度宣布样品跑出 11+ Gb/s 的速率，对应单栈带宽超过 2.8 TB/s
• 量产时间： 目标 2026 年

Micron 的 HBM4E 产品还特别注重混合键合技术的研发优化——该公司已提交 80 多项与混合键合相关的高带宽内存专利申请。

Sources: Introl Blog (Feb 2026); PatSnap HBM Landscape (Mar 2026); Astute Group (2025); Blocks & Files (May 2025)

5. 应用场景与市场

5.1 AI 加速器中的 HBM 配置

HBM 是当前 AI 训练和推理基础设施中的核心存储组件。以下为主流 AI GPU 的内存配置对比：

其中值得关注的数据：

• H200 相比 H100 增加了 76% 的内存容量 (80 GB 到 141 GB) 和 43% 的带宽，但使用了相同的 Hopper 架构核心——性能提升几乎完全来自 HBM3E 内存子系统的升级。
• AMD MI300X 以 192 GB HBM3 和 5.3 TB/s 的带宽，在内存容量和带宽两个指标上均超过同期 H100 一倍以上。这使得 MI300X 在单节点内即可运行 Llama 3 405B 等大规模模型，而 H100 需要跨节点。
• NVIDIA Rubin (2026) 的 interposer 面积达 2,194 mm^2，预计功耗 2,200W，总带宽可达 32 TB/s。内存配置从 A100 的 80 GB HBM2E 到 Rubin Ultra 的 1,024 GB HBM4E，六年内增长约 12.8 倍。

5.2 大语言模型的内存需求驱动

大型语言模型的训练和推理对内存带宽和容量提出了极高的要求。在大模型推理过程中，Attention 机制需要对完整的 Key-Value Cache 进行逐 token 访问——内存带宽直接决定了 tokens-per-second 的吞吐量。训练负载则面临不同的约束：模型参数、梯度、优化器状态和激活值都在争夺有限的容量资源。

HBM 容量从 80 GB (A100/H100) 增长至 192 GB (B200/MI300X) 再至 384+ GB (Rubin/MI400)，直接服务于参数量从百亿级到万亿级乃至十万亿级的模型演进需求。

5.3 市场规模与增长

• 2025 年全球 HBM 市场： ~380 亿美元
• 2026 年全球 HBM 市场 (预测)： ~580 亿美元
• 增长驱动： AI 基础设施投资、大模型参数增长、多模态模型兴起
• 定价影响： HBM 持续供不应求。自 2025 年初以来，DRAM 价格累计涨幅超过 200%。Micron 指出 HBM 与 DDR5 之间的晶圆产能转换比率约为 1:3——即每生产一个 HBM 晶圆所需的产能，相当于牺牲 3 个 DDR5 晶圆。SK Hynix、Samsung 和 Micron 至 2026 年的 HBM 产能已基本售罄。

Sources: GPU Advisor Benchmarks (2026); SemiAnalysis Newsletter; Blocks & Files (May 2025)

6. 技术挑战与瓶颈

6.1 内存墙 (Memory Wall)

“内存墙” 是 AI 加速器面临的根本性约束——计算能力的增长速度持续超过内存带宽的增长速度。每代 HBM 带宽提升约 1.5 至 2 倍，而每代 GPU 计算能力 (以 TFLOPS 计) 提升约 2 至 3 倍。这种差距直接决定了 LLM 推理吞吐量的上限。对于 memory-bound 的推理负载，内存带宽是比峰值算力更为关键的瓶颈参数。

6.2 散热管理

3D 堆叠结构引入了固有的热管理难题。垂直堆叠的 DRAM 层之间结构性的热阻随着层数增加而加剧。中间层 DRAM 处于最长的散热路径上，容易形成热点。HBM4 单堆栈功耗预计可达 80W，一个配备 8 个 HBM4 堆栈的 GPU 仅内存子系统就需处理 640W 以上的散热负荷。封装级的散热管理因此成为 HBM 进一步堆叠的关键瓶颈之一。

6.3 良率与测试

HBM 的高堆叠层数放大了良率挑战。一个 16 层堆栈中任何一个不可恢复的 DRAM 裸片缺陷都会导致整个堆栈报废。已知合格裸片 (Known-Good Die, KGD) 策略是关键——在堆叠前对各层进行单独测试。然而，混合键合技术的引入会使得测试流程变得极其困难：键合前的界面必须保持零颗粒污染，而测试探针本身就是颗粒源。UMC 等厂商正在开发包含表面平面化修复的中间测试流程。

6.4 先进封装成本

硅中介层在 55-65mm 的封装尺寸上的制造成本极高。HBM4 将微凸点间距推至约 10um 需要新一代封装设备。混合键合的设备投资 (TCB、直接 Cu-Cu 键合机) 更高，且需要全新的工艺流程。这些成本最终都会反映在 HBM 产品的定价上。

6.5 产能挤压效应

如前所述，HBM 对 DRAM 产线的消耗极大。每 1 片 HBM 晶圆相当于 3 片 DDR5 晶圆的产能占据。这意味着 HBM 需求的爆炸式增长直接导致通用 DRAM (DDR5、LPDDR) 供应紧张和价格攀升，形成了 AI 内存需求与传统 PC/服务器内存需求之间的结构性矛盾。

Sources: SemiEngineering (Jan 2026); PatSnap Thermal Analysis (Apr 2026); Georgia Tech / SK Hynix 3D Stacked HBM Paper

7. 未来趋势展望

7.1 HBM4E (2027 年目标)

HBM4E 是 HBM4 的增强版本，JEDEC 计划在 2027 年左右发布。主要目标规格：

• 数据速率提升至 10 GT/s
• 单堆栈带宽达到 2.5 TB/s
• 单堆栈功耗上限：80W
• 键合方案：可能在 18 层或 20 层堆叠中首次引入混合键合

7.2 混合键合的引入路线图

混合键合 (Hybrid Bonding, Cu-Cu direct bonding) 的采用时间表已有较为清晰的轮廓：

混合键合可以消除焊料凸点，使层间间距趋近于零，显著降低阻抗和能耗 (相比微凸点降低约一个数量级)。但其代价高昂——需要全新的生产线和测试设备，良率控制更加复杂。台积电 (TSMC)、Applied Materials、BESI 等设备厂商正在推动键合设备与工艺的协同优化。

7.3 下一代 AI 加速器路线

NVIDIA 和 AMD 的下一代 AI 加速器均将采用 HBM4：

NVIDIA Rubin (HBM4)：

• 发布日期：2026 年下半年
• 配置：8 个 HBM4 堆栈
• 内存容量：288-384 GB (因堆栈配置不同)
• 总带宽：16-32 TB/s
• 封装尺寸：2,194 mm^2 interposer
• 功耗：~2,200W

AMD MI400 (HBM4)：

• 发布日期：2026 年
• 首发型号 MI430X
• 内存容量：432 GB
• 总带宽：19.6 TB/s

NVIDIA Rubin Ultra (HBM4E)：

• 配置：16 个 HBM4E 堆栈
• 内存容量：1,024 GB
• 目标时间：2027 年

7.4 长期路线图

据行业分析，HBM5 至 HBM8 的路线图已初具雏形，目标系统级带宽达到 64 TB/s 以上。这一路线图中的关键技术路径包括：

• 混合键合： 从 HBM5 开始成为主流堆叠方案
• 存内计算 (PIM)： Samsung HBM-PIM 的后续演进，将更多计算逻辑集成到 DRAM 内部
• 3D DRAM 架构： Yole Group 预测定制 HBM 和新型 3D DRAM 架构将推动下一代内存创新
• CXL 集成： HBM 与 CXL 互连的结合，扩展内存池化能力

7.5 2026 年关键节点

• SK 海力士 HBM4 量产：2026 年上半年
• Samsung HBM4 量产：2026 年上半年
• Micron HBM4 量产：2026 年 (具体时间待定)
• NVIDIA Rubin 发布：2026 年下半年
• AMD MI400 系列发布：2026 年
• 全球 HBM 市场突破 580 亿美元：2026 年

Sources: Counterpoint Research (Apr 2026); Yole Group Next-Gen DRAM Report (Mar 2026); Samsung Press Releases; SemiAnalysis ISSCC 2026 Coverage

8. 总结

HBM 技术自 2013 年标准化以来，已经经历了六代演进，单堆栈带宽从 128 GB/s 跃升至 2 TB/s，容量从 4 GB 扩展到 64 GB。这一演进根本性地改变了 AI 基础设施的面貌——没有 HBM 的带宽和容量支持，当前百亿至万亿参数级别的大型语言模型既无法训练也无法高效推理。

HBM4 是这一演进过程中最具变革意义的一代。其 2048-bit 接口不仅是规格的翻倍，更是对整个内存子系统架构的重构——从通道配置到中介层布线再到控制器设计，无不受到影响。同时，HBM4 继续使用微凸点而非混合键合，这一务实的决策既反映了当前良率和测试挑战的严峻性，也为 HBM5 之后的路线图预留了充足的技术升级空间。

从产业格局看，SK 海力士凭借先发优势和 NVIDIA 的深度绑定，暂时处于显著领先地位；三星正在全力修复认证失利带来的损失，有望通过 HBM4 重新回归竞争；美光则以技术突破实现了市场份额的数倍增长，成为不可忽视的第三极。

内存墙的挑战不会消失。计算能力每代增长 2-3 倍，HBM 带宽每代增长 1.5-2 倍，差距将持续存在。但 HBM 每一代的演进都在不断推高这一天花板：从 HBM5 到 HBM8 的路线图已经在规划中，混合键合、存内计算、3D DRAM 等新技术的引入将使这一天花板持续向上推移。在 AI 基础设施的投资竞赛中，HBM 将继续扮演决定系统性能上限的关键角色。

参考来源

1. Wikipedia. “High Bandwidth Memory.” https://en.wikipedia.org/wiki/High_Bandwidth_Memory
2. Introl Blog. “HBM evolution: from HBM3 to HBM4 and the AI memory war.” Feb 2026. https://introl.com/blog/hbm-evolution-hbm3-hbm3e-hbm4-memory-ai-gpu-2025
3. SemiEngineering. “HBM4 Sticks With Microbumps, Postponing Hybrid Bonding.” Jan 2026. https://semiengineering.com/hbm4-sticks-with-microbumps-postponing-hybrid-bonding/
4. PatSnap. “HBM technology landscape 2026: market and AI demand.” Mar 2026. https://www.patsnap.com/fr/resources/blog/articles/hbm-technology-landscape-2026-market-and-ai-demand/
5. PatSnap. “Thermal resistance in stacked DRAM: HBM4 solutions.” Apr 2026. https://www.patsnap.com/resources/blog/articles/thermal-resistance-in-stacked-dram-hbm4-solutions/
6. Counterpoint Research. “Hybrid Bonding Expands from Logic to Memory.” Apr 2026. https://counterpointresearch.com/en/insights/Hybrid-Bonding-Expands-from-Logic-to-Memory
7. Siemens Blog. “HBM3e and HBM4: IC design guide.” Apr 2026. https://blogs.sw.siemens.com/semiconductor-packaging/2026/04/24/hbm3e-hbm4-ic-design-guide/
8. SemiAnalysis. “Scaling the Memory Wall: The Rise and Roadmap of HBM.” Aug 2025. https://newsletter.semianalysis.com/p/scaling-the-memory-wall-the-rise-and-roadmap-of-hbm
9. SemiAnalysis. “ISSCC 2026: NVIDIA & Broadcom CPO, HBM4 & LPDDR6.” Apr 2026.
10. Blocks & Files. “DRAM and NAND: Micron and SK Hynix’s paths to production.” May 2025.
11. Aivon. “Comparing HBM, HBM2, HBM3 and HBM3e.” Feb 2026. https://www.aivon.com/blog/memory-storage-technology/comparing-hbm-hbm2-hbm3-and-hbm3e/
12. Micron. “HBM3E Product Brief.” https://www.micron.com/content/dam/micron/global/public/documents/products/product-flyer/hbm3e-product-brief.pdf
13. Yole Group. “Next-Gen DRAM 2026 - Focus on HBM and 3D DRAM.” Mar 2026.
14. Wevolver. “What is High Bandwidth Memory 3 (HBM3): Complete Engineering Guide 2025.”
15. Rambus. “High Bandwidth Memory (HBM): Everything You Need to Know.” 2024.
16. Astute Group. “SK hynix holds 62% of HBM, Micron overtakes Samsung, 2026 battle pivots to HBM4.” 2025.