专访复旦大学MOSS系统负责人邱锡鹏：ChatGPT的革命性体现在大模型的“涌现能力”

21世纪经济报道记者董静怡 上海报道

ChatGPT展现出来的令人惊艳的对话理解与表达能力，让越来越多人意识到，人工智能已经迎来了全新的里程碑。并且有望作为一个至关重要的基座系统，以前所未有的速度渗透进各行各业，持续引爆未来世界的数字经济体系。

近日，复旦大学计算机科学技术学院教授、MOSS系统负责人邱锡鹏在接受21世纪经济报道记者专访时表示，ChatGPT的革命性体现在大模型的“涌现能力”上。在大模型训练过程中，出现了一些意外的、超乎预期的能力表现。据悉，在训练计算量大概在10的22次方之后，模型能力会完成从量变到质变的飞跃，呈现出惊人的爆发式增长。

“比如说你读两本书可能就背下来，但是当你读1万本的时候，你可能就理解了一些道理，当你读1亿本的时候，很可能融会贯通，从中掌握世界的规律。”邱锡鹏表示。但大模型具体是怎样在突破某个值后突然变得智能，仍然是个未解之谜。

不过，“涌现”的出现似乎也证明了一条路是正确的，即扩大模型规模，即可使其具有“智能”。在AI围棋打败人类棋手之时，Google Bert的参数规模为3亿；2020年后GPT-3横空出世，参数量级已经跨越到了1750亿。

涌现能力的背后，则进一步隐含着三个非常重要的技术：情景学习、思维链和指令学习，这也是ChatGPT得以在人工智能领域叱咤风云的关键原因。

情景学习深刻改变了传统机器学习的范式，只需要通过一系列精心设计的提示语句（Prompt），对任务进行详细描述，然后再辅以一些情景例子，就能够让模型参考着既定例子完成特定任务。

思维链则使得模型具有了推理的能力，让本来模型不会解的一个个复杂问题，分解成很多简单问题，然后通过逐一解决简单问题，最终使得复杂问题同样迎刃而解。

指令学习则使模型能够理解并执行各种自然语言指令，将任务指令化以便机器理解。人类只需要在少量的任务上进行指令化，在经历大概40多个任务指令化之后，对模型进行适度微调，就很容易泛化到上百、上千种任务，即使它从来没有见过。

在模型优化过程中，人的参与意义非常重要，使得机器在迭代中始终保持和人类的价值观、思维方式对齐，也避免了机器自己迭代起来有可能会离人类的偏好和初衷越来越远。

放眼国内，大模型的竞争也愈发激烈。2月20日，复旦大学自然语言处理实验室发布了国内首个类chatgpt模型MOSS，3月16日，百度发布“文心一言”，打响大厂入局的第一枪，此后，阿里云、商汤科技均公布了自家的大模型产品，国内大模型的百团大战一触即发。

但这些产品较ChatGPT来说，还存在一定差距，邱锡鹏也承认，目前MOSS的任务完成度却并不高，主要原因在于MOSS在部署和训练上投入的资本还非常有限，相较于千亿级的ChatGPT，大概只是其规模的十分之一。“我们现在仍旧在加紧迭代MOSS，预计将于4月中旬开源。”

邱锡鹏表示，尽管目前的通用人工智能技术尚且存在很多不足，包括随机性、不可控、容易“一本正经地胡说八道”等等，但随着时间的推移，这些问题都将在未来通过各种方式逐步改进。

正如图灵奖得主、著名人工智能专家杨立昆（Yann LeCun）所言：下一代模型应该更加具有事实性、无害性、即时性，并且能够灵活使用计算器、数据库、搜索引擎、模拟器等各种辅助工具，而这也是人们亟需重点解决的时代课题。

《21世纪》：我们如何复现ChatGPT这一大型语言模型？面临哪些挑战？

邱锡鹏：第一步需要先实现语言模型基座，第二步是指令微调，第三步是能力不断强化迭代。虽然这些关键步骤以及大概方法已经十分明朗，但每一步的细节都需要我们自己去一一摸索，还是充满着各种未知的挑战性。

第一步主要是Transformer架构上进行模块优化。首先，对于ChatGPT来说，它并没有特别关注中文，很多时候只是直接把中文按照英文的方式进行编码，我们作为中国人自然是希望对中文进行优化，就需要重新实现更好的中文编码，并想办法把中文和英文打通；此外，将来如果接入多模态的话，编码问题同样会带来架构设计以及训练稳定性等诸多问题与麻烦。

第二步是指令微调，个人认为指令微调的难度甚至比预训练更高。在预训练阶段，大家可以利用一些大公司成熟的预训练模型，在短时间内取得不错的训练效果；但是指令微调则非常难以立马做到，这一点上和OpenAI之间存在着非常明显的差距。

在与人类对齐方面，想要让模型的回答尽可能符合我们人类的思维习惯，也很难做到。而且考虑到OpenAI暂不开源，我们只能够一步步慢慢向前探索。如果我们要想超过ChatGPT，肯定就得去找到一条比它更好的实现路径，而这个过程无疑充满艰险。

《21世纪》：如何看待国内AI生态？

邱锡鹏：我们的生态还没有建好。OpenAI做ChatGPT的时候，它不需要分心做其他东西，只是把模型做好。微软帮它做算力，还有其它公司帮它做部署，数据也有专门的公司来进行数据清洗。它是在整个生态中去做的，这样的多方协作生态促使它的发展非常快。

而我们国内每家公司都要做，这就会产生一个问题，每家都做自己的，但每家数据、算力也有限，也没有多少钱可以支持研发，并且又在做一些很基础的、重复性的事情。而我们希望能促进大模型的协作生态，在MOSS开源之后，底层的重复性的工作就不要做了，把整个生态建起来。

如果我们有一个统一的大模型平台和基座，下面对接一下国产的算力，做好一份接口，大家都可以来用，能够去促进一个生态链的建设，使得整个中国的AI能够往前进一步发展。我们现在仍旧在加紧迭代MOSS，预计将于4月中旬开源。

《21世纪》：3月22日，美国的生命未来研究所向全社会发了一封公开信，呼吁所有的人工智能实验室暂停研制比GPT-4更强大的AI系统的训练，暂停的时间是6个月，如何看待这件事？

邱锡鹏：机器的迭代速度会快于人，在某一天总会超过人的，停止这六个月或者半年没有意义。并且很多时候也很难停下来，从很多公司的商业利益出发肯定会迭代的。我们目前为止的AI还是可控的，它目前的形式还是在语言层面的，没有接入到社会的方方面面。有一天当它接管了很多东西，成为了我们的某种基础设施之后，这就非常关键了，你要控制它各种能力，这时避免危害不光要靠技术，还要靠一些法律法规。

《21世纪》：类ChatGPT的AI将如何对未来社会形成颠覆性影响？

邱锡鹏：考虑到ChatGPT已拥有通用语言理解的能力，并可以进一步增加对外接口，成为通用人工智能的技术基座。这也就意味着通用人工智能的加速实现对于现阶段的人类来说已经不是梦想。甚至乐观一点说，像科幻片里面的人工智能形象可能很快就会在我们的生活中出现。

以ChatGPT为代表的通用人工智能技术，可以引爆数字经济，充分发挥数据和算力效能，并催生出海量的新商业模式；可以赋能产业数字化，并通过人机协同的方式解决行业专家资源不足的问题；可以以数字人、个人助理、搜索引擎等形式对数字经济新业态、新模式提供发展动能；更将深刻改变教育、社会治理、司法等领域的生态，大幅提升行业水平。

当然，我们也必须正视，目前的通用人工智能技术尚且存在很多不足，包括随机性、不可控、容易“一本正经地胡说八道”等等，不过，相信这些问题随着时间的推移，都将在未来通过各种方式逐步得到改进。

对于下一阶段的大型语言模型来讲，我们目前重点需要去做的事情就是让模型和现实世界以及人类的价值观进行“对齐”，成为一个真正的智能体，具有自身学习、跨模态学习、知识和工具利用等能力。与此同时，AI与人类价值观“对齐”也同样不可忽视，毕竟如果AI的价值观和人的价值观背道而驰，那将会是非常危险的。

《21世纪》：AI未来的发展方向是如何的？

邱锡鹏：以前一直做的人工智能模型都是弱人工智能模型，比如AlphaGo只能下围棋。目前ChatGPT的表现类似于通才，但是它可能在细分的专业性上和行业中比较顶级的专家还有很大的差距。我认为它将来会有不同的分支，往不同的专业方向上发展，以大模型为基础，产生很多的分领域的不同模型。这对于之前的人工智能研究来说应该都是一个大的颠覆。

《21世纪》：中国如何在这场科技浪潮中抓住机会？

邱锡鹏：我是比较乐观的。我们的AI以场景的丰富度或者应用层面的创新性领先，在AIGC或者大模型浪潮中，应用驱动也是很重要的。有了底座之后，我们再去把AI产品打磨好，这些应用场景的数据在我们国内是非常丰富的。