国内第一个对话式大型语言模型MOSS已由邱锡鹏教授团队发布至公开平台

宜宾老莫

由于ChatGPT并未开源，其技术方案细节也未公开，科研人员对此有诸多猜测。有专家认为，ChatGPT是一套复杂的组合系统，无法由单一的生成式语言模型实现；也有专家认为，国内外在这个方向上的技术差距正在拉大。作为自然语言处理专家，邱锡鹏近年来致力于研究具有多任务学习能力的通用模型。为了探索ChatGPT的技术路线，并获得大语言模型研究的一手经验，他带领团队加快了MOSS开发。如今，MOSS成为国内首个公开亮相的类ChatGPT语言模型，“端到端”走通了大语言模型的开发全程。MOSS开发的基本步骤与ChatGPT一样，包括自然语言模型的基座训练、理解人类意图的对话能力训练两个阶段。在对话能力训练阶段，OpenAI收集了至少几十万条人类指令，让各行各业的专业标注员写出指令回复，再将它们输入模型基座，以帮助ChatGPT逐步理解各种指令。复旦团队则采用不同的技术路线，通过让MOSS和人类以及其他对话模型都进行交互，显著提升了学习效率和研发效率，短时间内就高效完成了对话能力训练。邱锡鹏坦言：“MOSS与ChatGPT的差距主要在自然语言模型基座预训练这个阶段。MOSS的参数量比ChatGPT小一个数量级，在任务完成度和知识储备量上，还有很大提升空间。”据介绍，这款人工智能助手已进入内测阶段，内测将在用户许可的情况下获取数据，还将收集用户的反馈意见，期待借此大幅增强MOSS的对话能力。