第三代昆仑芯万卡集群点亮,全版本适配DeepSeek训练推理

时间:2025-02-10
  根据 中国电子报报道,昆仑芯表示,其在DeepSeek-V3/R1上线后不久便率先完成全版本模型适配,其中包括V3系列的DeepSeek-V3和DeepSeek-V3-Base,R1系列的DeepSeek-R1、DeepSeek-R1-Zero等8个不同版本,MoE(混合专家)模型及其蒸馏的Llama/Qwen等小规模dense(稠密)模型。不仅如此,昆仑芯已全面适配文心系列、Llama、Qwen、ChatGLM、Baichuan等各类大模型的推理和训练任务,性能优势明显。
  P800是昆仑芯厚积薄发推出的第三代产品,也是昆仑芯现阶段最具代表性的算力产品,可以较好地支撑DeepSeek系列MoE模型大规模训练任务,全面支持MLA(多头潜注意力)、多专家并行等特性,仅需32台即可支持模型全参数训练,高效完成模型持续训练和微调。
  与此同时,P800显存规格优于同类主流GPU20%~50%,对MoE架构更加友好,且率先支持8bit推理,单机8卡即可运行671B模型。正因如此,昆仑芯相较同类产品更加易于部署,同时可显著降低运行成本,轻松完成DeepSeek-V3/R1全版本推理任务。
  P800生态完备,易用性强,可以实现对训练和推理任务的快速适配。P800快速适配支持了DeepSeek-V3/R1的持续全参数训练,LoRA(低秩自适应)等PEFT(参数高效微调)能力,提供给用户“开箱即用”的训练体验。基于昆仑芯完整的软件栈生态,两个步骤即可轻松实现在昆仑芯P800上进行DeepSeek-V3/R1推理部署,对广大开发者十分友好。
  深耕AI加速十余年,大模型时代实力凸显
  昆仑芯前身为百度智能芯片及架构部,在百度内部真实业务场景中深耕十年,于2021年4月完成独立融资。十余年的成长过程中,昆仑芯始终秉承着“让计算更智能”的使命,专注AI加速,打造拥有强大通用性、易用性和高性能的通用AI芯片。
  昆仑芯与智能产业的上下游企业建立了良好的合作生态,通过向不同行业提供以AI芯片为基础的智能算力,在互联网、交通、金融、工业、教育等领域广泛部署应用,促进了千行百业的智能化转型。
  现如今,昆仑芯已完成三代AI芯片产品的设计研发和规模应用,并于2月5日宣布成功点亮第三代芯片P800万卡集群。在各个行业客户、合作伙伴的业务场景中,昆仑芯已实际上线运行各类大模型任务,通过千卡和万卡集群为客户提供了稳定的服务和优秀的性能表现。
  “万卡集群”被认为是新一轮大模型竞赛的“入场券”,要想真正进行人工智能技术较量,万卡集群是必备的基础设施需求。昆仑芯万卡集群的成功点亮,意味着在以算力为基础的人工智能比拼中,昆仑芯将助力产业合作伙伴迈上算力规模建设的新台阶。昆仑芯表示,将于近期进一步点亮3万卡集群。
  昆仑芯之所以能够在大模型算力竞争中展现优势,得益于前瞻的产品定义、十余年软硬件技术积累和持续不断的产业合作。在生成式人工智能和大模型时代,昆仑芯将更加充分发挥自研优势,秉持共生共赢的理念,与产业链上下游携手创造更大的经济和社会价值。
上一篇:崔东树:2024年12月中国汽车全球市场份额达41%
下一篇:2024年全球手机销量前十榜单公布

免责声明: 凡注明来源本网的所有作品,均为本网合法拥有版权或有权使用的作品,欢迎转载,注明出处。非本网作品均来自互联网,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。