三星将内存处理芯片应用到 GPU

    三星已经建造了一台声称是同类产品中的第一台超级计算机，其中包含 AMD 数据中心 GPU，并附有其内存处理芯片，该公司表示，这可以显着提高训练大型 AI 模型的性能和能效。
    这台超级计算机于周二在韩国的一次行业活动中披露，包括 96 个 AMD Instinct MI100 GPU，每个 GPU 都加载了内存处理 (PIM) 芯片，这是一种新型内存技术，可以减少数据量需要在 CPU 和 DRAM 之间移动。
    据报道，三星电子高级技术研究所人工智能研究中心负责人 Choi Chang-kyu表示，该集群能够以 2.5 倍的速度训练谷歌开发的文本到测试传输转换器 (T5) 语言模型，同时使用 2.7与未使用 PIM 芯片的相同集群配置相比，功耗降低了 1 倍。
    “这是世界上同类产品中唯一的一种，”崔说。
    三星表示，其 PIM 技术对能源消耗和环境具有重大影响，可将集群的年能源使用量减少 2,100 吉瓦时，从而减少 960,000 吨碳排放。
    与往常一样，在这些说法得到独立测试和验证之前，我们应该保留判断力，但该公司表示，这种功率减少相当于 160 亿棵城市树木在十年内吸收的碳量。
    PIM 驱动的超级计算机拥有如此强大的一个重要原因是每个 PIM 芯片都使用高带宽内存 (HBM)，业界越来越多地转向使用它来处理高性能计算和 AI 工作负载。Nvidia 和 AMD 已经在多代数据中心 GPU 中使用 HBM，英特尔计划在即将推出的Xeon Max服务器处理器变体和高端数据中心 GPU中引入 HBM 。
    三星 HBM-PIM 芯片与其他公司 HBM 实现的不同之处在于，PIM 芯片上的每个存储体都包含一个内部处理单元。据这家韩国电子巨头称，这通过将一些计算转移到内存本身内部，减少了与在 CPU 和内存之间移动数据相关的瓶颈。
    三星希望通过创建允许组织在集成软件环境中使用该技术的软件来推动其 PIM 芯片在行业中的采用。为此，它依赖于SYCL，这是一个免版税的跨体系结构编程抽象层，恰好支持英特尔为其 oneAPI 并行编程模型实施 C++。
    近三年来，该公司一直在大力宣传 PIM，它计划将该技术推向市场的另一种方式是通过所谓的 AXDIMM（加速DIMM 的缩写）。
    如果 PIM 开始出现在未来几年由研究实验室、学术机构和其他组织建立的新超级计算机中，我们将知道三星是否最终取得进展。