百度CTO王海峰为文心一言正名：完全自主研发，加速产业智能化变革

    当下，大语言模型热度空前，诸如文心一言、ChatGPT等已经能够与人对话互动、回答问题、协助创作，逐渐应用于人们的工作和生活，也引发了社会热议。近日，百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰再次做客CCTV-2 《中国经济大讲堂》，阐释文心一言这类大语言模型的产品能力、技术原理和产业价值。
    文心一言读书破万亿，五大能力业内领先人工智能时代，IT技术栈可分为“芯片层、框架层、模型层和应用层”，百度是全球为数不多、进行全栈布局的人工智能公司。从昆仑芯片、飞桨深度学习平台、文心大模型到应用，在技术栈的每一层，都有领先的关键自研技术，实现了层与层反馈，端到端优化，大幅提升效率。文心一言是百度人工智能多年技术积累和产业实践的水到渠成，尤其是飞桨深度学习平台和文心大模型的联合优化，为文心一言提供了坚实的技术支撑。
    王海峰强调，文心一言完全是百度自主研发的大语言模型。百度早在2019年就发布文心大模型ERNIE1.0，经过近4年研发和迭代，文心大模型已经形成了产业级知识增强大模型技术体系，包括自然语言处理、视觉、跨模态、生物计算、行业大模型，以及支撑大模型应用的工具平台，蕴含了大量百度自主创新、并且在大规模产业应用中得到验证的技术。其中有些关键技术已申请专利或者发表论文，还有一些相关技术也已开源开放。
    文心一言是大语言模型的典型代表。王海峰以“读书破万卷，下笔如有神”为例，解读了大语言模型从海量数据中学习，就相当于读了万亿卷书籍，吸收了万亿知识，做到了理解，在此基础上，就可以按照用户的需求去生成文案、回答问题、完成总结分析了。
    关于“文心一言”名字由来，王海峰做了具体阐释：“文”是语言文字，“心”是用心理解，“文心”指致力于理解和运用语言文字的自然语言理解模型，同时也呼应了《文心雕龙》，寓意用雕缕龙纹一样精细的功夫去研究语言文字的内涵和魅力；“一言”既有“一言为定、一言九鼎”的寓意，也有对人机之间“你一言我一语”流畅沟通的殷切期盼。文心“一言”既出，即可“一生二、二生三、三生万言”。
    现场还展示了文心一言的文学创作、商业文案创作、推理计算、中文理解和多模态生成等能力。在文学创作方面，文心一言不仅可以撰写《流浪地球2》的影评文案，还可以创作朋友圈配图，并续写《流浪地球3》的后续剧情；在商业文案创作方面，文心一言帮助想开店的创业者做好筹备工作，比如调研北京中关村3公里范围内办公人群口味偏好、设计店名、创作宣传语和藏头诗，以及收集汇总创立餐饮店涉及的政府部门与相关流程手续；在推理计算方面，文心一言可以准确计算复杂的数学问题，先理解问题，再通过思维链推理，最后生成答案；在中文理解方面，文心一言可以准确解答“日照香炉生紫烟，遥看瀑布挂前川”诗句是哪里的自然景象及其背后的物理现象；在多模态生成方面，文心一言可以准确回答中国古诗的相关问题，并制表、作画，用方言朗读。
    六大核心技术加持，文心一言落地水到渠成文心一言是文心大模型家族的新成员，在文心知识增强大模型ERNIE及对话大模型PLATO的基础上研发，基于飞桨深度学习平台训练和部署，其关键技术包括，有监督精调、人类反馈的强化学习、提示、知识增强、检索增强和对话增强。前三项是这类大语言模型都会采用的技术，在ERNIE和PLATO模型中已经有应用和积累，文心一言中又进行了进一步强化和打磨，做到了更懂中文、更懂中国文化、更懂中国的使用场景；后三项则是百度已有技术优势的再创新，也是文心一言越来越强大的技术底气。
    王海峰以老师教学生为例，深入浅出地解读了大语言模型背后的技术原理。预训练大模型像博览群书的学生，记住了很多知识，但需要老师来指导如何运用，而有监督精调就是老师在教学生，将提炼出来的知识要点、典型范例等教给模型，让它知道该如何符合人类规范、习惯和价值观，去执行相应动作，生成相应内容。文心一言训练了奖励模型，为每次输出的结果打分并给到反馈，进行强化学习，随着真实用户的反馈越来越多，文心一言的效果会越来越好，能力越来越强，进步“一日千里”。此外，文心一言还融合了不同类型数据和知识，自动构造提示，包括实例、提纲、规范、知识点和思维链等，提供了丰富的参考信息，激发模型相关知识，生成高质量结果。
    对于百度已有技术优势的再创新，王海峰也做了进一步解读。在知识增强方面，知识是人类认识和改造世界的智慧结晶。百度构建了5500亿事实的知识图谱。文心一言基于庞大的知识图谱来做知识增强，从海量数据和大规模知识中融合学习，还可以直接调用知识图谱做知识推理，自动构建提示，高效满足用户需求。在知识的指导下，文心一言如同站在巨人的肩膀上，学得又好又快，模型效率和效果均大幅提升。
    在检索增强方面，百度拥有世界上最大的中文搜索引擎，百度搜索已经发展到基于语义理解和匹配的新一代搜索架构，深入理解用户需求和网页内容，进行语义匹配，得到更精准的搜索结果，进而为大模型提供准确率高、时效性强的参考信息，更好地满足用户需求。
    在对话增强方面，基于对话技术和应用积累，文心一言具备记忆机制、上下文理解和对话规划能力，实现更好的对话连贯性、合理性和逻辑性。百度深耕对话技术多年，取得了国际领先的技术成果，荣获中国专利金奖、吴文俊人工智能科技进步特等奖等，为文心一言的成功研发奠定了基础。
    文心一言普惠千行百业，加速产业智能化变革大语言模型的飞速发展已经引起社会热议，对于工作岗位替代、教育模式变革、人工智能安全等问题，王海峰也给出了解答。
    他表示，文心一言这样的人工智能技术，本质上是提升生产力的工具，可以替代人类完成一些工作，但同时也会创造更多工作机会，使人类可以去做更具创造力的工作。正如人类历史上任何一次科技革命和产业变革都会带来一些工作被替代，同时创造了更多新的工作机会。在教育模式的转变上，“死记硬背”已经落伍，教育将与时俱进，向激发灵感、培养创造力的方向转变。
    在人工智能安全性方面，百度坚定遵守相关法律法规和伦理规范，专门配备了相应监督机制和管理机制，从各个环节做好安全问题。在文心一言的开发过程中，从最初的数据的采集、处理，模型的训练，到最后的使用过程，构筑了五道安全防线。百度也成立了数据管理委员会，还与社会各界共同合作，不断完善相关政策、规则，强化人工智能安全。关于人工智能是否会控制人类，王海峰强调，就像人造地球卫星永远也不会和月球这样的自然卫星画等号一样，人工智能永远也不会直接跟人类的智能完全画等号，研究人工智能是在研究用技术手段来模拟、延伸和拓展人的智能，最终目的是为人类带来更先进的科技，服务于人类更美好的生活和社会的发展。
    当下，人工智能已经成为新一轮科技革命和产业变革的重要驱动力量，而深度学习作为人工智能的核心技术，具备很强的通用性，呈现出标准化、自动化、模块化的工业大生产特征，推动人工智能进入工业大生产阶段。大模型具有效果好、泛化性强、研发流程标准化的特点，正在成为人工智能技术及应用的新基座。但与此同时，大模型研发门槛高、难度大，依赖算法、算力和数据综合支撑，产业化面临挑战：模型体积大，训练难度高；算力规模大，性能要求高；数据规模大，数据质量参差不齐。
    如何实现大模型产业化？王海峰表示，类似芯片代工厂的模式，具有算法、算力和数据综合优势的企业，可以将模型生产的复杂过程封装起来，通过低门槛、高效率的生产平台，为千行百业提供大模型服务。未来，文心一言这类大语言模型会成为一个通用的赋能平台，金融、能源、媒体、政务等各行各业，都可以基于文心一言实现智能化变革，提高效率，创造巨大的商业价值。期待社会各界积极拥抱新技术，共同努力，实现高水平科技自立自强，为经济高质量增长带来更多动能。