马斯克开源Grok-1大模型，3140亿参数迄今最大

　　马斯克旗下AI初创企业xAI宣布开源Grok-1大模型。该模型参数量达到3140亿，超过OpenAI GPT-3.5的1750亿，是迄今参数量最大的开源大语言模型。
　　据介绍，备受业界期待的Grok-1是一个混合专家（Mixture-of-Experts，MOE）大模型，这种MOE架构重点在于提高大模型的训练和推理效率。形象地理解，MOE就像把各个领域的“专家”集合到了一起，遇到任务派发给不同领域的“专家”，最后汇总结论，提升效率。决定每个“专家”做什么的机制被称为“门控网络”。
　　据悉，该混合专家模型采用了多种神经网络结构，并融入了预训练、迁移学习等先进技术手段，不仅拥有出色的图像识别、语音处理等基础功能，在解决复杂问题时也表现出较高的灵活性和可扩展性。
　　目前，xAI已经将Grok-1的权重和架构在GitHub上开源，遵照Apache2.0协议向全球研究人员开放。据了解，未来xAI还计划与其他科研机构进行更紧密的合作，并推动相关标准化工作。同时，他们鼓励各界对Grok-1进行改进优化，并期待看到更多基于这一模型的前沿应用问世。