DeepSeek论文登上《自然》封面,R1成为首个严格学术审查大模型

9月18日,由DeepSeek(深度求索)团队共同完成、梁文锋担任通讯作者的DeepSeek-R1推理模型研究论文,登上了国际权威期刊《自然(Nature)》的封面。

DeepSeek R1成为首个通过同行评议的主要大语言模型,发表在《自然》杂志的新版DeepSeek-R1论文,与今年1月未经同行评审的初版有较大差异。

在同行评议过程中,DeepSeek团队根据评审意见减少了对模型的拟人化描述,并增加了模型训练的技术细节说明,包括模型训练数据类型和安全性考虑等,并回应了此前关于知识蒸馏的质疑。

DeepSeek明确否认了此前关于其使用OpenAI模型输出进行训练的质疑。在长达64页的同行评审文件中,DeepSeek介绍,DeepSeek-V3 Base(DeepSeek-R1的基座模型)使用的数据全部来自互联网,虽然可能包含GPT-4生成的结果,但绝非有意而为之,更没有专门的蒸馏环节。

DeepSeek还透露,为了防止基准测试数据污染,对DeepSeek-R1的预训练和后训练数据都实施了全面的去污染措施。

开源之后,R1在Hugging Face下载量破1090万次,成为全球最受欢迎的开源推理模型。

DeepSeek论文登上《自然》封面,R1成为首个严格学术审查大模型

DeepSeek首次公开了仅靠强化学习,就能激发大模型推理能力的重要研究成果,从而启发全球AI研究者。DeepSeek R1的核心创新在于采用了“纯强化学习”这一自动化试错方法,R1通过奖励模型达到正确答案的行为来学习推理策略,而非传统模仿人类预设的推理模式。

在补充材料中,DeepSeek团队还首次公开了R1训练成本仅为29.4万美元。这个金额即使加上约600万美元的基础模型成本,也远低于OpenAI、谷歌训练AI的成本。

今年1月,当DeepSeek R1模型发布时,其卓越的推理能力和极低的开发成本曾引发全球科技股大幅下跌。

作为全球首个通过同行评审的主流大语言模型,《自然》期刊不但将该篇论文作为封面论文,还在评论报道文章中用了“里程碑式论文揭示 DeepSeek AI 模型的秘密”、“创造历史”表达赞赏和肯定,此次论文发表标志着中国在大模型基础研究领域取得重要突破。

在AI行业快速发展中,未经证实的说法和炒作不在少数。《自然》杂志认为,随着AI技术日渐普及,大模型厂商们无法验证的宣传可能对社会带来真实风险。依靠独立研究人员进行的同行评审,是抑制AI行业过度炒作的一种有效方式。而DeepSeek所做的一切,是非常值得欢迎的先例。

8月21日,DeepSeek正式发布了最新大语言模型DeepSeek-V3.1。

据DeepSeek介绍,新升级版本的变化主要体现在三个方面:混合推理架构、更高的思考效率、更强的Agent(智能体)能力。DeepSeek-V3.1实现了一个模型同时支持思考模式与非思考模式。

DeepSeek是2023年成立于杭州的人工智能公司,由幻方量化孵化。创始团队由梁文锋领衔,成员来自顶尖高校与国际机构技术专家。

评论