AI芯片，需要怎样的内存？

    上周，我（指代本文作者）有幸在人工智能硬件和边缘人工智能峰会上主持了一场小组讨论，主题为“下一代人工智能/机器学习计算的内存挑战”。MLCommons 的 David Kanter、微软的 Brett Dodds 和 AMD 的 Nuwan Jayasena 加入了我的行列，这三位卓有成效的专家就内存对于 AI/ML 的重要性提出了不同的看法。我们的讨论重点是 DRAM 和内存系统面临的一些挑战和机遇。随着 AI/ML 的性能要求持续快速增长，内存的重要性也不断增长。
    事实上，当谈到人工智能内存时，我们看到了对“以上所有”的需求，特别是：
    更多容量——模型尺寸巨大且增长迅速。David 引用了百度在其推荐系统中使用的嵌入表，需要 10 TB。如此规模的资产需要越来越多的 DDR 主内存容量。
    更多带宽——随着需要移动的数据量巨大，我们见证了所有 DRAM 类型不断追求更高数据速率以提供更多内存带宽。
    更低的延迟——这种速度需求的另一个方面是更低的延迟，这样处理器核心就不会闲置等待数据。
    更低的功耗——不幸的是，我们正在面临物理的极限，而功耗已经成为人工智能系统的一个重要限制因素。对更高数据速率的需求正在推高功耗。
    为了缓解这个问题，IO 电压正在降低，但这会降低电压裕度并增加出错的机会，这使我们……
    更高的可靠性——为了解决在更高速度、更低电压和更小工艺几何条件下不断增加的错误率，我们看到越来越多地使用片上 ECC 和先进的信号技术来进行补偿。
    我们讨论的另一个重要话题是人工智能中新存储技术的挑战和机遇。新技术有许多潜在的好处，包括：
    针对一组重点用例优化容量、带宽、延迟和功耗。人工智能是一个庞大而重要的市场，背后有大量资金，这是一个伟大的组合，可以推动新存储技术的发展。过去，GDDR（为图形市场开发）、LPDDR（为移动市场开发）和HBM（为包括AI在内的高带宽应用开发）是为了满足无法满足的用例的需求而创建的。
    CXL? – CXL 提供了大幅扩展内存容量和提高带宽的机会，同时还从处理器中抽象出内存类型。通过这种方式，CXL 为整合新的内存技术提供了一个很好的接口。CXL 内存控制器提供处理器和内存之间的转换层，允许在本地连接的内存之后插入新的内存层。
    虽然针对特定用例的新内存类型可能对许多应用程序有益，但它们面临着额外的挑战：
    DRAM、片上 SRAM 和闪存在可预见的未来仍将继续存在，因此不要指望任何东西会完全取代这些技术。对这些技术的每年研发和资本支出投资，加上数十年的高产量制造经验，使得短期内基本上不可能取代任何这些技术。任何新的内存技术都必须与这些内存很好地配合才能被采用。
    人工智能部署的规模以及与开发新内存技术相关的风险使得采用全新内存变得困难。内存开发的时间通常为 2-3 年，但人工智能发展如此之快，以至于很难预测未来可能需要的特定功能。赌注很高，依赖新技术的启用和可用的风险也很高。
    任何新技术的性能优势都必须足够高，以抵消任何额外的成本和风险。考虑到对基础设施工程和部署团队的要求，这意味着新内存技术需要克服一个非常高的障碍。
    内存将继续成为未来人工智能系统的关键推动因素。我们的行业必须继续为未来的系统进行创新，以提供更快、更有意义的人工智能，整个行业正在做出回应。