在2023年全球超算大会(SC23)上,英伟达推出了新一代GPU H200。当日,英伟达的股价在截至收盘时间增长0.6%,为486.2美元,数据显示,英伟达创下了近7年来最长的连涨记录。这一次,英伟达将AI芯片的发展方向引向了存储和推理能力。
英伟达的新品,与早些时候英特尔和AMD透露的AI芯片发布计划呼应,AI芯片从以算力为中心的竞争向更加多样化发展。
AI芯片竞争焦点转向存储? 相比于前代H100,H200的性能提升了60%-90%,但是单看算力这一指标,H200的算力与H100基本相同,对比两者的产品规格表可以发现,实现算力不变而性能飞跃的关键点就是内存。
![](https://file3.dzsc.com/news/23/11/16/104711690.jpg)
H100与H200规格对比
英伟达在发布H200时表示,该产品是全球首款搭载HBM3e的GPU,而H100中使用的仍是HBM3。据了解,HBM3e能够为H200提供传输速度达4.8 TB/秒的141GB显存。与前代产品、常被其他竞争者视作“计量单位”的A100 相比,其容量也翻了近乎一倍,带宽增加了2.4 倍。
事实上,英伟达在AI芯片方面的挑战者AMD在几个月前就强调了AI芯片存储容量的重要性。AMD CEO苏姿丰表示,AMD即将于今年12月推出的纯GPU产品Instinct MI300X使用具备192GB显存的HBM3,带宽为5.2GB/秒。值得注意的是,AMD产品具备8个HBM3显存堆栈,而英伟达产品仅有6个。同时,AMD首个AI加速器产品MI300A也拥有多达13颗小芯片,共包含1460亿个晶体管,配置128GB的HBM3内存,相比前代的MI250,MI300A的性能提高8倍,效率提高5倍。
在英特尔方面,英特尔CEO帕特·基辛格曾在9月举行的英特尔on技术创新峰会上公布了英特尔AI芯片的路线图:到2024年,英特尔将推出采用5nm制程的Gaudi3,再下一代AI芯片代号则为Falcon Shores。Gaudi2于2022年推出,从产品规格来看,Gaudi2所使用的是6个HBM2堆栈共96GB。英特尔表示,Guadi3的算力将是前代产品Gaudi2的两倍,网络带宽、HBM容量是Gaudi2的1.5倍。
可以看出, 在各芯片企业的推动下,AI芯片的竞逐正从初期的算力指标竞争,进一步延展到存储领域,HBM(高带宽存储)几乎成为了未来AI芯片当中必备且必争的存储器。英伟达超大规模和高性能计算副总裁Ian Buck表示:“想要通过生成式AI和HPC应用创造智能,就必须使用大型、快速的GPU显存来高速、高效地处理海量数据。”
半导体行业专家盛陵海告诉《中国电子报》记者:“从技术角度来讲,存储性能是提高AI训练能力的瓶颈,如果存储能力跟不上算力,整个模型的训练便难以高效运行;从企业角度来讲,发展存储性能也是性价比相对较高的方式之一。”据了解,当前最高规格高带宽存储器的HBM3e主要由SK海力士、三星以及美光提供。
AI芯片性能提升贵在推理? 大模型训练和推理的效率与效果是衡量GPU性能的重要指标,各大厂商也围绕着大模型训练与推理不断提升自身实力。
H200的性能提升数据着重体现在模型推理上面。英伟达表示,H200在700亿参数的大语言模型Llama 2上的推理速度比H100提高了近一倍,功耗也会降低50%。同时,英伟达H200和H100由于都基于Hopper架构,互相之间具备强兼容性,可实现一定程度上的替换,同时英伟达透露,下一代采用全新架构的GPU B100也将于2024年推出,进一步强化训练和推理的性能。
面向训练需求,半导体厂商推出了多块芯片互连的解决方案,用以支持更大参数的模型训练。英特尔的GAUDI 2 HLBA-225支持8块Guadi2共同运行;AMD推出Instinct平台同样搭载8块MI300X,被苏姿丰称作是“人工智能推理和训练的终极解决方案”;英伟达依靠自身NV Link和NV Switch的高速互连技术,推出了HGX H200的服务器主板。英伟达称,客户可选择搭载4块或8块H200,配合Grace Hopper芯片可为各种应用工作负载提供最高的性能,包括针对1750亿参数以上超大模型的LLM训练和推理。
“从训练来看,虽有目前常说的‘百模大战’,但是其参数量和精度等还需要进一步优化,同时,专业大模型的成熟度也不比通用大模型,故而当前的主要诉求仍在大模型训练上。”盛陵海说,“而同时,未来的推理需求则逐步增加,因为人工智能的应用落地,最终还是要看推理能力。”
免责声明: 凡注明来源本网的所有作品,均为本网合法拥有版权或有权使用的作品,欢迎转载,注明出处。非本网作品均来自互联网,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。