最近一段时间,互联网科技圈掀起了一股大模型发布潮,百度、腾讯、阿里、华为等大厂纷纷官宣了自己的AI大模型。不少业内人士发现,大模型正在以“肉眼可见”的速度越长越大,参数规模似乎成为象征着大厂出手的一个“标配”。然而,OpenAI联合创始人兼CEO 萨姆?奥尔特曼(Sam Altman)却给大家泼了一盆“冷水”。他指出,大语言模型规模已接近极限,并非越大越好。
![](https://file3.dzsc.com/news/23/04/24/110402921.jpg)
OpenAI GPT4演示页面 对比小模型,大模型一个标志性的特点就是“大规模”。从GPT-1到GPT-3,模型的参数量从1.1亿个增长到了1750亿个,几年的时间内增长了1000多倍。最新发布的GPT4据悉已达到了万亿级别的参数。
研究人员发现,当训练量超过某个阈值时,模型的精度会突然暴增。一旦解锁这种“涌现能力”,模型就会因量变引起质变,开启“自动驾驶”模式。即使在没有专门训练过的领域,也能涌现出知识理解和逻辑推理能力。
于是,各家大厂开始在模型中加入越来越多的参数,导致模型规模屡创新高。国内百度“文心一言”背后的大模型为2600亿参数,腾讯“混元”大模型也达到了千亿级参数,华为“盘古”大模型参数规模据推测可能已经接近GPT-3.5 的水平,阿里“通义千问”大模型则官宣已达到10万亿参数。
阿里云通义千问 伴随参数之争愈发“白热化”,业界似乎陷入了一个误区,以为模型越大越好,其实事实并非如此。OpenAI联合创始人兼CEO Sam Altman表示,OpenAI正接近LLM(大型语言模型)规模的极限,规模越大并不一定意味着模型越好,而可能只是为了追求一个数字而已。LLM的规模不再是衡量模型质量的重要指标,未来将有更多的方式来提升模型的能力和效用。
有专家指出,模型的性能有一个不明确的上限。以谷歌发布的拥有1.6万亿参数的Switch Transfomer为例,当谷歌把参数量提升了一个量级后,确实会对性能有所提升,但是此时带来的性能收益已经远不及以前那么“惊艳”了。这似乎是一种边际效应递减现象。
也有观点认为,在一些垂直专业领域,并不需要超大规模的模型,不恰当的网络架构设计反而会造成对计算资源极大的浪费。APUS创始人兼CEO李涛表示,中小模型的针对性更强,未来基于大模型再开发的各类小模型,可以更迅速地应用到各行各业,提供多元化服务。
回归大模型底层技术,Transformer才是这一轮人工智能技术取得实质性突破真正核心的“因”。“2018年以来,基于Transformer的神经网络模型推动了新一轮自然语言模型的发展。模型结构的不断演进和优化,改善了模型或算法的效果。”Forrester高级分析师卢冠男表示。可以说,Transformer为自然语言处理开启了一种新范式,极大地推进了语言建模和语义理解,带来了通用人工智能的曙光。
“现在大多数的大模型都是基于Transformer,这是毫无疑问的。”清华大学人工智能研究院、视觉智能研究中心主任邓志东表示。Transformer的核心之一是自注意力机制(Self-Attention),能够通过关系的特征进行学习表达相关性。同时,它对序列数据的并行处理能力远超LSTM(长短时记忆网络,一种深度学习中的循环神经网络)。
“大型语言模型利用自注意力机制的Transformer神经网络,把成千上万个Transformer串联起来,通过对大规模文本的数据学习建立从单词、短语、句子、段落不同层次之间相互连接的关系,基于连续关系进行统一整体的表达,这让它的理解能力、整体逻辑都非常强。”邓志东说道.
作为一种工程化的创新,大模型是数据、算法、算力等要素资源之间的精巧组合。除了投入大规模、高质量的语料作为“养料”,还需不断地对其进行工程化调优,才能让它可以真正开始高效提炼、蒸馏人类的知识,达到类似于人的智能效果。
算力同样是模型性能的重要支撑。“在模型结构确定后,需要通过训练的方式获得模型结构中的参数,这一过程是以数据为输入进行的。当下趋势中,数据规模不断增长,模型结构中的参数不断增加,这加大了训练过程中对算力的需求。”卢冠男指出。同时,模型训练完成后,在使用的过程中,也需要基于新的客户数据进行推断计算(inference)。这一推断计算的过程也依赖算力的支持。
“数据是大模型的基础,算法是大模型的核心,算力是大模型的保障,它们之间相互作用和协同合作,才能够打造出更加完善和优秀的大模型。”成都市人工智能产业协会秘书长李娅娜表示。
她建议,可以从“数据质量、算法与模型结构、参数规模与适应性、算力与性能”四个角度进行评估,一个模型是否“好用”肯定最终还是用户说了算。
免责声明: 凡注明来源本网的所有作品,均为本网合法拥有版权或有权使用的作品,欢迎转载,注明出处。非本网作品均来自互联网,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。