HBM3E的争夺，进入了白热化阶段

　　例如，美光在周一正式宣布推出 12-Hi HBM3E 内存堆栈。新产品容量为 36 GB，面向用于 AI 和 HPC 工作负载的前沿处理器，例如 Nvidia 的H200和B100/B200 GPU。
　　美光的 12-Hi HBM3E 内存堆栈拥有 36GB 的容量，比之前的 8-Hi 版本（24GB）高出 50%。容量增加使数据中心能够在单个处理器上运行更大的 AI 模型，例如 Llama 2，其参数多达 700 亿个。此功能消除了频繁卸载 CPU 的需要，并减少了 GPU 之间的通信延迟，从而加快了数据处理速度。
　　在性能方面，美光的 12-Hi HBM3E 堆栈可提供超过 1.2 TB/s 的内存带宽，数据传输率超过 9.2 Gb/s。据该公司称，尽管内存容量比竞争对手高出 50%，但美光的 HBM3E 功耗低于 8-Hi HBM3E 堆栈。
　　美光的 HBM3E 12-high 包含一个完全可编程的内存内置自检 (MBIST) 系统，以确保为客户提供更快的上市时间和可靠性。该技术可以全速模拟系统级流量，从而可以对新系统进行全面测试和更快的验证。
　　美光的 HBM3E 内存设备与台积电的晶圆上芯片 (CoWoS) 封装技术兼容，该技术广泛用于封装 Nvidia 的 H100 和 H200 等 AI 处理器。
　　台积电生态系统与联盟管理部负责人 Dan Kochpatcharin 表示：“台积电与美光一直保持着长期的战略合作伙伴关系。作为 OIP 生态系统的一部分，我们密切合作，使美光基于 HBM3E 的系统和晶圆基板芯片 (CoWoS) 封装设计能够支持我们客户的 AI 创新。”
　　美光正在向主要行业合作伙伴运送已投入生产的 12-Hi HBM3E 单元，以进行整个 AI 生态系统的资格测试。
　　SK海力士，正式量产HBM3E
　　韩国芯片制造商 SK 海力士公司高管最近宣布，公司最新 12 层高带宽存储器（HBM）芯片即将量产，这将旨在巩固该公司在需求激增的人工智能（AI）存储器市场的领导地位。
　　随着生成式人工智能 (例如 ChatGPT 等模型) 等应用的兴起，用于人工智能计算的集成组件 HBM 芯片受到越来越多的关注，SK 海力士的 HBM 产品也因此而广受欢迎。
　　这家韩国公司被视为 HBM 市场的领跑者，也是美国 AI 芯片领导者 Nvidia Corp. 的主要供应商，其最新的八层 HBM3E 于 3 月在业内首次实现量产。
　　Kwak 表示：“该公司预计，人工智能技术将从数据中心迅速扩展到更广泛的设备应用领域，如智能手机、个人电脑和汽车。人工智能应用对超高速、高容量和低功耗内存产品的需求预计将出现爆炸式增长。”
　　SK海力士表示，以HBM和高容量DRAM模块为主导的AI内存销量预计将占据全球内存芯片市场的61%，较2023年的5%大幅增长。
　　尽管面临三星电子和美光科技等竞争对手的挑战，郭先生仍表示有信心在全球 HBM 市场日益激烈的竞争中获胜。
　　四月，三星电子宣布计划在第二季度量产 12 英寸 HBM3E 芯片，以跟上不断变化的 HBM 市场趋势。
　　他表示：“我们的 HBM3 和 HBM3E 芯片保持了最高水平的质量竞争力”，并引用了该公司的大规模回流成型底部填充 (MR-MUF) 技术，这是 SK 海力士首次开发的一种封装方法。
　　“由于采用MR-MUF的12高HBM3已经实现量产，我们有信心下一代12高HBM3E将继续保持最高质量水平，及时满足客户需求。”
　　为及时满足AI内存需求，SK海力士决定投资5.3万亿韩元（38.5亿美元），在韩国建设名为M15X的DRAM新生产基地，预计2026年第三季度投入商业运营。
　　该公司还宣布，计划向美国先进的封装制造和研发设施投入近 40 亿美元，从 2028 年下半年开始大规模生产 AI 内存产品，包括下一代高带宽内存 (HBM) 芯片。
　　Kwak 表示：“公司的目标是通过提高成本竞争力、提高盈利能力和增加增值产品销量来实现质的增长。我们计划通过灵活的投资应对措施，根据不断变化的需求情况提高现金持有量，从而继续改善财务状况。”
　　三星完成了 NVIDIA 对 HBM3E 内存的质量测试，开始发货
　　今年二月，三星宣布完成12-Hi 36GB HBM3E 记忆体堆叠的开发，这个宣布是美光宣布大规模生产8-Hi 24GB HBM3E 记忆体产品之后几个小时。这些新的记忆体套件，代号为Shinebolt，与它们的前身代号为Icebolt相比，峰值频宽和容量均提高了50% 以上，目前是世界上最快的记忆体设备。
　　三星电子最近完成了 NVIDIA 对 HBM3E（8 堆栈）内存交付的质量测试（QualTest），标志着半导体行业的一个重要里程碑。这一进展正值三星开始向 NVIDIA 运送 HBM3E（8 堆栈）产品之际，此举预计将对这家科技巨头即将推出的产品阵容产生重大影响。
　　正如名称所暗示，三星的Shinebolt 12-Hi 36GB HBM3E 堆叠在有1024-bit 介面的逻辑芯片上封装了12 个24Gb 记忆体。新的36GB HBM3E 记忆体模组具有10 GT/s 的数据传输速率，因此每个堆叠的峰值频宽为1.28 GB/s，是业界最高的单个设备(或模组) 记忆体频宽。
　　需要注意的是，支援HBM 的处理器开发商往往会更加谨慎，因此他们会出于功耗和保证人工智能(AI) 和高性能运算(HPC) 的最终稳定性等因素，以低于其最大值的速度使用三星的HBM3E。
　　为了制造其Shinebolt 12-Hi 36GB HBM3E 记忆体堆叠，三星使用了多项先进技术。首先，36GB HBM3E 记忆体产品基于三星第四代10nm 级(14nm) 制程技术(称为) 制造的记忆体装置，该技术采用极紫外光(EUV) 光刻技术。
　　其次，为了确保12-Hi HBM3E 堆叠与8-Hi HBM3 产品具有相同的Z 高度，三星使用了其先进的热压缩非导电薄膜(TC NCF)，使其能够在记忆体装置之间实现业界最小的7 微米(7 ?m) 间隙。透过缩小DRAM 之间的间隙，三星可以提高垂直密度并减轻芯片翘曲。此外，三星还在DRAM IC 之间使用不同尺寸的凸点；较小的凸点用于讯号传输区域，而较大的凸点则放置在需要散热的区域，进而改善散热管理。
　　三星估计其12-Hi HBM3E 36GB 模组可以将人工智能训练的平均速度提高34%，，并将推理服务的同时用户数量扩大超过11.5倍。然而，该公司尚未详细说明LLM的大小。
　　三星已经开始向客户提供HBM3E 12H的样品，并计划在今年上半年开始大规模生产。到了今年年四月，根据外媒报导，三星已经与处理器大厂AMD 签订价值30 亿美元的新协议，将供应HBM3E 12H DRAM，预计会用在Instinct MI350 系列AI 芯片上。在此协议中，三星还同意购买AMD 的GPU 以换取HBM 产品的交易，但是具体的产品和数量暂时还不清楚。
　　最近，TrendForce则表示，“今年，NVIDIA的产品阵容将引起轰动，H200是首款配备HBM3E 8堆栈内存的GPU（图形处理单元）。”即将发布的Blackwell芯片预计还将全面采用第五代高带宽内存HBM3E，有望增强性能和效率。