HBM 高带宽存储器为什么那么火？

　　随着人工智能、自动驾驶、物联网（IoT）和 5G 等前沿技术的迅猛发展，对高带宽内存的需求呈现出持续且强劲的增长态势，HBM（High Bandwidth Memory，高带宽存储器）这一先进的内存技术便应运而生。它凭借高带宽、低功耗和紧凑的封装设计等显著优势，能够充分满足高性能计算（HPC）、人工智能（AI）、图形处理（GPU）和数据中心等诸多领域严格的应用需求。
　　HBM 的特点
　　高带宽：HBM 通过独特的宽接口和多通道设计，实现了令人瞩目的高数据吞吐量。与传统的 GDDR 内存相比，HBM 提供了更高的每针带宽，这使得它在处理大规模并行计算任务时表现得游刃有余。例如，在人工智能的深度学习训练中，大量的数据需要快速处理和传输，HBM 的高带宽特性就能够确保数据的高效流动，从而显著提升训练效率。
　　低功耗：HBM 通过精心减少信号传输路径长度，并对电路设计进行优化，成功降低了功耗。其工作电压通常为 1.2V 或更低，相较于 GDDR 内存，节能效果显著。在数据中心等对功耗敏感的应用场景中，低功耗的 HBM 能够有效降低运营成本，同时也符合绿色节能的发展趋势。
　　紧凑封装：HBM 采用先进的 2.5D 封装技术，将 DRAM 芯片垂直堆叠，并通过硅中介层（Interposer）巧妙地连接到处理器。这种设计显著减少了 PCB 面积，使得整个系统的集成度更高，体积更小。在一些对空间要求苛刻的设备中，如便携式高性能计算设备，HBM 的紧凑封装优势就显得尤为突出。
　　高密度：HBM 采用 TSV（Through-Silicon Via，硅通孔）技术，支持多层堆叠，每堆可达 16 层甚至更多。高密度的设计使得 HBM 能够在有限的空间内存储更多的数据，进一步提升了其性能表现。
　　HBM 的技术架构
　　HBM 的架构包含以下几个关键组成部分：
　　堆叠设计：HBM 内存由多层 DRAM 芯片堆叠而成，层数从 4 层到 16 层不等。通过 TSV 技术在垂直方向实现层间互联，有效降低了信号延迟，提高了数据传输的速度和稳定性。
　　宽接口：每堆 HBM 内存具有数千个 I/O 接口，典型为 1024 位宽或更高。如此宽的接口设计显著提高了数据传输速率，能够满足高速数据处理的需求。
　　硅中介层（Interposer）：HBM 内存与处理器之间通过硅中介层连接，该中介层提供了高带宽、低延迟的通信通道，确保了内存与处理器之间的数据能够快速、准确地传输。
　　分片架构：HBM 内存被分成多个逻辑分片（Channels），每个分片都配备有独立的控制器。这种设计提高了并行访问能力，使得多个数据可以同时进行处理，进一步提升了整体性能。
　　从 2015 年 HBM 代发布至今，已经过去了近 10 年的时间。目前，已经商用的是 HBM3E，预计明年将会发布 HBM4。每一代 HBM 的发布都带来了巨大的变革，我们可以通过比较它们的性能、技术特点和应用领域来了解其发展历程。
　　参数HBM1HBM2HBM3HBM3EHBM4
　　发布时间2015201620212023预计 2025 年
　　带宽（每堆叠）128 GB/s256 GB/s819 GB/s~1.2 TB/s2 TB/s 或更高
　　总带宽512 GB/s1 TB/s3.2 TB/s4.8 TB/s6 TB/s 或更高
　　单堆容量1 GB–4 GB4 GB–8 GB16 GB24 GB48 GB 或更高
　　堆叠层数4–8 层4–8 层8–12 层12–16 层16 层或更多
　　I/O 速度1 Gbps2 Gbps6.4 Gbps9.2 Gbps12 Gbps 或更高
　　功耗效率较低提升 10%显著提升进一步优化更高的能效
　　工艺节点28nm20nm12nm10nm 或更先进<10nm
　　关键技术基础 TSV 堆叠高层 TSV 堆叠高速通道优化无助焊剂键合无助焊剂 + 更高堆叠
　　典型应用图形处理（GPU）AI 和 HPC数据中心，HPC生成式 AI，加速器下一代 AI 与 HPC
　　制造商SK Hynix, AMDSK Hynix, AMD, NvidiaSK Hynix, SamsungSK Hynix, SamsungSK Hynix, Samsung
　　在存储总线的选择上，为什么不采用 GDDR 或者 DDR5 这类呢？这主要是因为在带宽、能效、延迟和紧凑性等关键性能指标方面，HBM 具有明显的优势。例如，单堆叠 HBM3 的带宽可达 819 GB/s，系统总带宽可超过 3.2 TB/s，而虽然 GDDR6X 可达 64 GB/s，已经是较高的水平，但仍然远不及 HBM；DDR5 则更不具备高密度传输的能力。以下是关于 HBM3 与 GDDR6/6X 以及 DDR5 的简要对比：
　　参数HBM3GDDR6/GDDR6XDDR5
　　主要用途HPC、AI 训练、图形处理、数据中心游戏显卡、显卡服务器、PC 内存
　　接口宽度1024 位（或更高）32 位（单通道）64 位
　　带宽（每堆 / 通道）819 GB/s（HBM3）16–21 GB/s（GDDR6）4.8–6.4 GB/s
　　64 GB/s（GDDR6X）
　　总带宽>3.2 TB/s（多堆叠）1 TB/s（典型显卡）51.2 GB/s（典型配置）
　　容量（单模组）8–16 GB（单堆叠）8–24 GB（单显存模组）8–256 GB
　　功耗效率高效（低功耗设计）较高功耗中等功耗
　　工作电压1.1 V1.35–1.5 V1.1 V
　　封装形式TSV + 硅中介层（2.5D 封装）标准显存封装标准 DIMM
　　延迟极低中等高
　　典型频率3.2–6.4 Gbps（有效）16–21 Gbps（有效）4.8–6.4 Gbps（有效）
　　制造成本高中等较低
　　典型应用场景HPC、AI 加速器（如 Nvidia A100/H100）游戏 GPU（如 Nvidia RTX、AMD RX 系列）个人电脑、服务器工作负载
　　通过以上对比，HBM 的优势与挑战也一目了然。HBM 的优势主要体现在以下几个方面：
　　高带宽支持：能够提供更高的带宽，以充分满足计算密集型任务的需求。在人工智能的图像识别、自然语言处理等领域，大量的数据需要快速处理，HBM 的高带宽特性能够确保系统的高效运行。
　　高度集成：高度集成的设计减少了主板空间的占用，同时降低了功耗。这使得系统的设计更加紧凑，并且能够有效降低能源消耗。
　　低延迟特性：低延迟设计有助于提升系统的响应速度，使得用户能够获得更加流畅的使用体验。
　　然而，HBM 也面临着一些挑战：
　　成本高昂：TSV 和硅中介层技术复杂，增加了生产成本。这使得 HBM 的价格相对较高，限制了其在一些对成本敏感的市场中的应用。
　　热管理难题：高堆叠层数导致热密度增加，需要有效的散热方案。如果散热问题得不到妥善解决，可能会影响 HBM 的性能和寿命。
　　制造难度大：封装和互联工艺对精度要求极高，影响良率。这增加了生产的难度和成本，也限制了 HBM 的大规模生产。