AMD推出了“能与英伟达H100 HGX媲美”的AI芯片Instinct MI300X加速器。该芯片由8个MI300X GPU组成,能够提供高达1.5TB的HBM3内存容量。AMD声称,与英伟达H100 HGX相比,Instinct MI300X加速器在运行大语言模型推理时的吞吐量和时延表现更好。
AMD首席执行官苏姿丰表示,MI300X的存储表现优于英伟达的H100,而对比此前英伟达透露的H200,其存储性能规格也优于使用HBM3e的H200。
据了解,MI300X内置了8个XCD共304个CNDA 3架构的计算单元以及4个IOD,性能相较于此前普遍应用的MI250系列提升了约30%。在存储性能上,AMD使用8个HBM3堆栈,带来了高达192GB的内存以及5.3TB/s的最大带宽。
根据AMD提供的数据,在大模型训练能力上两者不分伯仲,而在70亿参数的Llama2和160亿参数的Bloom的推理上,由于AMD单卡具备更好的存储性能,推理效率已经超越了英伟达。但在加速器平台内部的卡间带宽上,由于英伟达拥有NVLink技术的加持,AMD 896GB/s的表现仍略低于英伟达。
AMD Instinct MI300X加速器的发布,引发了全球AI芯片市场的骚动。微软声称将评估对AMD的AI加速器产品的需求,评估采用该新品的可行性。Meta公司表示,将在数据中心采用AMD新推的MI300X芯片产品。甲骨文也表达了将在云服务中采用AMD的新款芯片的意愿。这些AI芯片采购大户“不会把鸡蛋放到一个篮子里”有了现实考量——英伟达可能遇到了强大的竞争对手。
据AMD的预测数据,AI加速器在2023年的市场规模将达到450亿美元,2027年将达到4000亿美元。
免责声明: 凡注明来源本网的所有作品,均为本网合法拥有版权或有权使用的作品,欢迎转载,注明出处。非本网作品均来自互联网,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。