生成式人工智能又称AIGC或生成式AI，是指基于算法、模型、规则生成文本、图片、声音、视频、代码等内容的技术。中国科学院大学人工智能学院教授、亚太人工智能学会执行主席雷渠江认为，未来，生成式AI在医疗保健、生命科学、游戏、娱乐、计算机工程等垂直领域都将产生巨大影响。国际调研机构Gartner预测，AIGC渗透率有望在2025年提升至10%，市场规模或将于2030年逾万亿人民币。多家公司纷纷进入这个赛道，谷歌、微软、Snapchat、Meta公司先后宣布在自己的产品中推出AIGC类工具。作为quan球边缘AI领域的ling导者，高通的进展如何？

“今天，生成式AI的能力让大家兴奋不已，作为一项变革性的技术，它将带来广泛应用，颠覆我们的工作、娱乐方式。” 6月16日，在高通AI业务媒体线上沟通会上，高通技术公司产品管理gao级副总裁兼AI负责人Ziad Asghar表示。

终端侧的边缘AI体验如何明显提升？在边缘侧，生成式AI如何成为生产力？混合AI技术为什么是AI技术的未来？带着这些热点话题，高通技术公司产品管理gao级副总裁兼AI负责人Ziad Asghar和记者们畅谈了AI技术的发展趋势和生成式AI落地的zui新进展。

生成式AI终端侧用例丰富，高通AI技术和软件栈全面助力

“生成式AI拥有非常丰富的应用领域，包括搜索、内容生成、生产力、代码编写等，颠覆了众多技术领域。有些内容可以在几秒内通过大模型生成。但是很多人看到AI就认为是云端AI完成的，但是在高通公司，通过先进的技术，我们能够让这些出色的用例在边缘侧实现。” Ziad Asghar说。

在手机、PC、XR、物联网和汽车上，生成式AI的应用已经大量涌现。首先在手机端，手机作为高度个性化的设备，能够通过生成式AI成为消费者真正意义上的数字助手，可以接受用户的需求，甚至在没有联网的情况下完成任务。比如并完全通过大型基础模型（例如文本生成文本模型LLaMA）与用户交流；在XR上，生成式AI能够根据终端侧所提供的用户信息进行定制和优化，为用户带来完全不同的独特虚拟世界体验；在PC上，以骁龙本举例，生成式AI能够基于视频会议的语音转录内容，制定任务清单，并自动生成完整的演示文稿直接供用户使用，使生产力能够成倍增长。在本地有硬件组块，让用户在本地生成AI能力，区别于其他竞争对手。

图：智能座舱当中对话式AI 电子发烧友拍摄

此外，在今年quan球增长迅猛的汽车端用例丰富。比如在座舱中使用对话式AI，向你推荐餐厅，还可以将你的工作任务制定规划。生成式AI还可以根据出发点和目的地信息，结合汽车的丰富传感器数据制定不同的路线规划，找到zui佳路线；在物联网领域，生成式AI能够助力打造面向zhuan业领域的GPT类型模型，以及帮助用户完成不同任务的IoT助手，适用于医疗、零售、酒店管理中提升顾客和员工体验。

“在云端运行一个超过10亿参数的生成式AI模型，可能需要数百瓦的功耗，而在终端侧运行需要的功耗仅有几毫瓦。高通实现了quan球shou个Android手机上的Stable Diffusion终端侧演示。Stable Diffusion是一个参数超过10亿的超大神经网络基础模型，能够基于输入的文本提示生成图片。” Ziad Asghar指出，“通过我们的全栈AI优化，这一模型能够完全在终端侧运行，实现在15秒内完成20步推理，生成饱含细节的图像。高通的AI技术能够支持终端在既定功耗下完成更多处理工作，yao遥ling先竞争对手，这赋予了我们在生成式AI领域的独特优势。”

据悉，高通面向Stable Diffusion进行了全栈AI优化。2022年6月，高通专门推出了面向边缘AI的ling先软件栈产品—高通AI软件栈。它支持从软件层面进行模型优化。

Ziad Asghar强调说：“高通在AI 业务领域的三大关键要素包括：1、行业ling先的硬件，支持在既定功耗下实现更高性能；2、行业ling先的高通软件栈；3、ling先的工具，包括高通AI模型增效工具包（AIMET）等。数以十亿计的终端，充分利用高通在人工智能技术方面的硬件、软件和工具的优势，发挥作用。在高通统一技术路线图的背景下，我们能将he心的硬件、软件以及工具技术扩展到不同产品线。开发人员只需要进行yi次开发，就可以将开发成果和经验应用于其他使用高通技术和平台的产品上。”

混合AI技术是AI未来 高通AI技术从C端到B端全面发力

“在云端和终端进行分布式处理的混合AI才是AI的未来。混合AI的优势在于，即使不同终端处理能力不尽相同，但仍然能够提供相近的体验，同时带来包括成本、能耗、隐私与安全、个性化等优势；还能通过出色的5G连接技术确保信息在端到端之间进行高效传输。” Ziad Asghar对AI未来做出了清晰地判断。

为何云端AI难以支持生产式AI的规模化扩展？这是因为云端处理存在成本的乘数效应，用户进行查询的次数越多，模型规模就越大，也就会导致云端的成本不断上升。节省成本是主要推动因素。据估计使用基于生成式AI的搜索，每yi次查询成本是传统搜索方法的10倍，而这只是众多生成式AI的应用之一。此外，应用数量和用户数量的增加，也会导致成本的提高。云端完成所有生成式AI所需的工作负载，是难以实现的。我们需要更多地利用混合AI的方式，将部分处理交给终端侧完成，从而真正发挥生成式AI的优势。

混合AI架构可以根据模型和查询需求的复杂度等因素，选择不同方式在云端和终端侧之间分配处理负载。“以汽车为例，在数字座舱里，我们可以为用户提供真正意义上的虚拟助手。在汽车领域我们需要将多模态相结合，同时结合雷达、激光雷达、以及摄像头等传感器数据，从而让我们在使用生成式AI规划路线时，获得zui佳的效果。汽车需要非常强大的处理能力。一方面，汽车领域的生成式AI用例需要非常丰富的终端侧处理能力，同时，它还需要通过高速低时延的5G连接，在需要的情况下利用云端资源进行处理。与其他产品线对比，汽车产品高通能够提供更多的生成式AI处理能力。” Ziad Asghar对电子发烧友记者表示。

Ziad Asghar透露，目前高通能够支持Stable Diffusion超过10亿参数的模型在终端侧运行，但我们也看到，许多关键的生成式AI模型，比如文本生成图像、自然语言处理、编程、图像理解、图像创作等，模型规模一般在10亿到100亿参数之间。未来几个月，高通将有望支持参数超过100亿的模型在终端侧运行，这也将成为基于高通技术的产品的一大差异化优势。混合AI策略适用于所有生成式AI应用和终端领域，包括手机、笔记本、XR头显、汽车和物联网，从C端到B端，这个策略对于生成式AI规模化扩展至关重要。