21世纪经济报道记者 章驰
9月14日,全国网络安全标准化技术委员会在国家网络安全宣传周开幕式上发布《人工智能安全治理框架3.0》(以下简称《框架3.0》),明确智能体风险管理框架。
而硅谷此时正在掀起一场AI发展路线的争论。
上周末,Anthropic首席执行官达里奥·阿莫代伊(Dario Amodei)公开发文,呼吁全行业放缓前沿大模型能力迭代速度,为安全对齐、风险评估与监管规则落地争取时间。令市场意外的是,其竞争对手OpenAI CEO山姆·奥特曼、SpaceX创始人埃隆·马斯克迅速表态支持,形成美国AI巨头罕见联合呼吁AI“踩刹车”的局面。
这一倡议随即遭遇英伟达CEO黄仁勋公开反对,他称AI接管世界属于夸大的“骗局”,反对以一刀切方式减缓AI产业整体发展。
黄仁勋抛出重磅产业判断:网络安全很可能成为AI的下一个主要应用场景。这一论断,将英伟达长期聚焦的业务从数据中心算力、软件开发,延伸至网络安全赛道。
AI安全议题正在全球资本市场快速发酵,AI安全成热门赛道,网络安全板块迎来一波显著拉升行情。
《框架3.0》明确智能体风险管理框架
2024年、2025年网安标委先后发布了《人工智能安全治理框架1.0》《人工智能安全治理框架2.0》。《框架3.0》延续“风险分类、技术应对、综合治理”的核心逻辑,与时俱进梳理更新了风险分类,优化调整了技术应对和综合治理措施,以促进提升人工智能安全治理共识和风险防范应对能力,确保人工智能技术造福于人类。
记者查阅《框架3.0》全文发现,“智能体风险管理框架”作为附件2,被单独列出。
文中提到,智能体作为人工智能技术演进的重要形态,实现了人工智能从“回答问题”向“执行任务”的本质跨越,但智能体的高自主性、高权限带来隐私泄露、越权操作、行为失控等安全风险,需建立有效的防范措施。框架围绕智能体涉及的大模型、外围工具、记忆、交互协议、技能(skills)等方面的安全风险,研究提出风险防范措施,供智能体应用研发者、提供者、使用者参考。
值得注意的是,《框架3.0》提出随着智能体的流行和应用生态的扩展,出现了专门面向智能体的网络社交平台。在此类平台上,智能体可以自主发布帖文、浏览资讯、交流互动,形成智能体网络社群。智能体社交平台尚属新兴应用,缺乏足够完备的账号检测和安全防护体系,易被攻击者利用,操纵智能体输出特定言论或植入违法信息内容。智能体的社交过程呈现显著的黑箱特性,其生成机制难以预测、难以溯源,可能输出违背人类价值的违法信息内容,并且社交网络结构将扩大内容传播的范围。在人机关系日渐复杂的时代,智能体社交平台仍处于探索过程中,应当警惕其脆弱性与不可控性,关注其带来的政治、宗教等内容安全风险。
此外,《框架3.0》在安全风险与技术应对措施、综合治理措施中,新增了具身智能安全风险和侵害个人信息权益安全风险的内容。
AI三巨头“踩刹车”,黄仁勋唱反调
过去数月,一系列AI安全事件从“预警”变成了“事故”。
最受行业关注的是OpenAI智能体逃逸事件,在内部测试任务中,该智能体为达成评测目标,自主突破了隔离沙箱环境,未经授权访问HuggingFace平台,获取外部信息完成任务后返回测试环境。模型自主绕过安全限制、跨平台获取资源的行为,完全超出研发人员的初始预期。
Anthropic前研究员Jacob Coxon公开宣布辞职,指责公司在前沿模型研发上过度激进,行业正在拿人类未来进行商业赌博。Anthropic对齐科学负责人Evan Hubinger公开警示,AI系统在未来十年内造成大规模灭绝事件的概率超过10%。
Anthropic首席执行官阿莫代伊提议,AI公司向第三方评估人员开放“员工级别”的系统访问权限、建立行业统一标准以及全球协调机制。Anthropic承诺率先落地第一条,永久向第三方评估人员开放内部权限,接受独立安全审计。
奥特曼在X上回应:“我同意达里奥的观点,我们需要控制前沿AI的发展节奏。”他称独立第三方评估是“绝佳的主意”。马斯克则简短表态:“达里奥说得对。”
对于AI减速的呼声,黄仁勋拒绝这套叙事。
9月14日,黄仁勋公开驳斥“AI接管世界”的末日论是“骗局”,强调不应让AI产业减速。他称赞因担忧AI风险而辞去Anthropic职务的研究员Jacob Coxon“有勇气提出担忧”,但否定了“AI可能毁灭世界”的预测,称这类观点“没有科学依据”。
黄仁勋提出要把AI本身作为防御工具,以AI抵御AI攻击。在他看来,写代码是AI最容易学会的应用之一,同样的能力可复用于模拟与自动修复。
在近期举行的某科技大会上,黄仁勋表示,预计到2030年,全球AI基础设施年投资将达3万亿至4万亿美元。他重申英伟达下一个财年70%营收增长的信心,并预测网络安全与物理AI是AI的下一个关键增长点。
英伟达最近与CrowdStrike发布智能体安全系统SafeMind,采用Nemotron开放模型构建防御模型,通过攻防实现AI持续对抗训练。黄仁勋称这是“网络安全的一个拐点”。
网络安全概念股飙升
多重产业与政策催化共振,资本市场AI安全概念迎来集中爆发。
9月15日,网络安全概念继续大幅高开,此前走出3连板的龙头股中新赛克开盘涨停,午后炸板,再回封涨停,最新市值49亿元,5个交易日累计涨幅45%。天融信涨超5%,南凌科技、安博通涨超2%,启明星辰、深信服、兆日科技跟涨。
美股市场,海外网络安全龙头Rapid7、CrowdStrike、Palo Alto Networks、Zscaler同步大涨。
浙商证券研报指出,AI能力越强、攻击越自动化,企业的安全付费意愿与安全龙头的护城河反而越深。光大证券判断,市场正在逐步纠正“AI替代”叙事,形成“AI扩张安全需求”的共识。
(作者:章驰 编辑:肖潇,骆一帆 视频编辑:章驰)
南方财经全媒体集团及其客户端所刊载内容的知识产权均属其旗下媒体。未经书面授权,任何人不得以任何方式使用。详情或获取授权信息请点击此处。
