博鳌论坛2025丨AI智能体风险倍增，均衡发展需尽快确定红线与标准

21世纪经济报道记者赖镇桃 广州报道 

在DeepSeek之后，中国又有一款AI产品引发全球关注。

两周前，中国初创公司蝴蝶效应发布Manus，号称全球首款通用AI智能体产品（AI Agent）。据创始人介绍，Manus与传统AI助手不同，它不仅能提供建议，还能直接交付完整成果，是真正自主的AI智能体。

在视频展示案例中，Manus可像人类般筛选简历，自动解压、阅读并生成排名建议及候选人简介等，还能对纽约的楼市进行各项过滤、筛选，然后通过编写Python程序进行买房人预算推演，最后详细给出一份适合购房人的购房报告。

虽然Manus是不是真正的“通用”Agent还存在争议，但它确实一定程度上揭示了AI新的发展方向：从答问题到做任务。因而也就不难理解，Agent正被行业视作AI商业化的下一个爆发点，但更强大的复杂任务处理也对模型能力提出了更高要求：多模态理解能力、跨环境能力、上下文理解和记忆、自我评估能力等，只是技术的突破也在引发更大的安全担忧。

能力越强，风险越大

“去年我们没有想到人工智能现在会发生这么大的变化，我刚刚从硅谷回来，两周前去拜访了OpenAI、英伟达、谷歌等主要科技公司，第一个感受是AI的规模定律正在放缓，尤其是文本领域整个ROI边缘效应已经降低了，但是规模定律依然有效，正从预训练拓展到推理阶段，还可能转移到多模态。”中国工程院院士、清华大学智能产业研究院（AIR）院长张亚勤在博鳌亚洲论坛上表示，他曾于2014年9月至2019年10月担任百度公司总裁。

“第二个新趋势当然是DeepSeek带来的震撼，它使用了更高效的资源配置、更开源的模式，是两年来人工智能领域最大的、最规模性的创新，也是中国对全球的贡献。另一个趋势是AI从信息智能走向物理智能，特别是无人驾驶、机器人等，也走向生物智能，如人脑接口、生物体大模型等。无人驾驶是具身智能最大的应用，也是我认为第一个能够落地的，人形机器人还需要更长的时间。”张亚勤进一步表示。

上海科学智能研究院首席战略官、复旦大学经济学教授杨燕青提及，人工智能通过Agent的方式可能会非常快地推广、应用，但有些科学家认为Agent的方式也让AI安全风险陡增到一个新级别。

对此，张亚勤认为，智能体的风险至少上升一倍，无可否认，它是很好的技术和工具，能够自我规划、学习、试点并达到自己的目的。但是智能体本身也带来很大的风险，这里面有很多未知的因素，因为中间路径是不可控的，智能算法虽然并不完全是黑盒子，但是很多东西并不清楚机理，所以带来很大风险，一种是不可控风险，一种是被坏人所利用的风险，相当于整个安全系数降低了两倍。“确实AI能力越大，带来的风险越高，特别是AI从信息智能到物理智能到生物智能，风险会增加很多倍。”张亚勤指出。

划定红线和规则

由此，在超级AI出现以前，如何平衡发展和安全的议题变得尤为重要。

中国科学院研究员、人工智能安全与超级对齐北京市重点实验室主任、联合国人工智能高层顾问机构专家曾毅在发言中回忆，去年他曾和张亚勤讨论是否应该暂停六个月的人工智能大模型的研究，先把安全护栏做好，很多人都误解了这样的倡议，以为是不要推进人工智能的研究。其实这个倡议是想告诉大家，构建安全护栏的速度没有跟上人工智能发展的速度，所以需要先确保安全性的问题。去年的博鳌论坛上，全世界的科学家对于如何构建安全护栏是不知道答案的。但经过了将近一年的探索，已经有了初步的答案。

“人工智能的发展应用和安全之间的关系不是相互掣肘的关系，人工智能的模型在表现上最好的仍然是OpenAI和DeepSeek这个系列，但是它的安全属性也是最好的。”曾毅在讲话中强调，模型能力和安全治理是可以协同并进的，这一点也在技术上得以论证，曾毅和他的团队曾尝试了十几个人工智能大模型，把模型的安全能力提升百分之二三十，对它的问题求解能力的影响几乎可以忽略，这说明可以用科学的方式让大模型变得更安全，但同时基本不会影响模型的能力表现。

目前，全球在AI监管上，基本达成了安全发展的共识，那下一步的问题就在于如何跨越国界、找到更清晰的治理模式和国际协调机制。

经济合作与发展组织全球关系与合作主任绍尔表示，OECD在2019年确定的第一个人工智能原则就是可信的AI、以人为中心的AI，这些原则在G20峰会上也得到了采用。同时还要有一些可量化的AI原则，比如AI的信用评分系统。”我们还是需要复杂的治理，明确什么是需要AI来做的，什么是不需要AI做的，我们要有一个参数体系，这样才能真正建立起智能的AI。”

在张亚勤看来，AI安全性问题涉及三个层次，首先信息安全是完全可以进行规范的，其次是可控性和可信度，技术上是可以解决的，对于更大的风险，需要定义一些红线和边界，就像发展智能体的红线就是智能体不能自我复制。因为技术不断发展，有了边界之后是可以解决的，如果完全没有边界，只谈一些大的原则，谈一些具体方案是比较困难的。