AI安全“上强度”：以魔法破魔法丨AI安全观察④

21世纪经济报道记者孔海丽 北京报道

在人工智能大模型的助推下，全球新一轮科技革命和产业变革正在酝酿，但也衍生了一些担忧，数据安全、终端安全以及个人的数字主权面临更大的挑战。

“攻击组织借助AI的学习与分析能力，持续深入剖析防御机制，不断优化和精进其攻击策略，甚至能够实现攻击策略的自动部署与执行，加剧了网络安全领域的挑战。”有网络安全行业从业人士表示，AI大模型的能力如果不能被善意利用，所带来的安全威胁无疑也是翻倍的。

近日，多位专家在第六届C3安全大会上指出，AI网络安全要求我们重新审视传统的安全防护措施，来应对AI算法发起的更为隐蔽、精准的网络攻击——“以AI制AI，以魔法破魔法”，利用AI技术来应对AI驱动的网络安全威胁。

中央网信办网络安全协调局二级巡视员张胜表示，近年来，中央网信办同相关部门相继出台了《网络安全法》、《数据安全法》、《个人信息保护法》、《关键信息基础设施安全保护条例》等系列法律法规，《网络安全审查办法》、《生成式人工智能管理办法》等重要制度以及数百项网络安全国家标准，基本构建起网络安全政策法规体系的四梁八柱。他认为，人工智能与网络安全的深度融合，要从加强网络安全人才与创新、重视数据资源建设与共享等方面继续展开。

“数据正在成为最重要的资产，大模型如同现代冶炼厂，在铸造出这个时代的‘钢铁’。操作系统、行业大模型与‘云网安’共同构成新时代数据的基础设施。” 亚信联合创始人田溯宁说，数据经济新时代正在拉开全球新一轮竞争。

AI大模型的机遇和风险

AI技术助力千行百业智能化升级，但任何跨越时代的科学技术，都可能成为一把悬于正义与邪恶之间的双刃剑。在鼓励AI创新的同时，更要规范其健康发展，如何让其成为有利工具，让AI向善，成为业界讨论激烈的话题。

在中国工程院院士、清华大学智能产业研究院院长张亚勤看来，信息安全的范畴需要扩大，包括AI模型安全、数据安全、参数安全，也包括可控性、可解释性，以及AI的边界性等。

谈到AI对产业的影响，他认为，这其实构建了一个全新的生态，构建了新的操作系统，AI大模型就是人工智能时代的操作系统，在这之上，会有很多新的应用。“除了通用大模型，每个产业都还会有深度的垂直行业大模型，这个生态将比PC互联网高两个数量级，比移动互联网高至少一个数量级。”

张亚勤认为，新的人工智能是信息智能、物理智能和生物智能的融合。AI大模型的能力极其强大，未来可能创造出很多发展机遇，但也蕴含着不少潜在风险——例如信息智能的风险、AI本身隐含的安全风险以及可控性、可信性、边界等问题；例如幻觉的问题、深度伪造的问题，或是当大模型技术的应用范围拓展至更广更深的领域时的失控和被利用的风险等。

他建议，在推动大模型相关技术进步的同时，也应未雨绸缪地做好防范工作，确保技术向善。具体包括，要把AI模型分级，参数越大的大模型治理要求越高，准确标识AI生成的内容，呼吁行业主体把至少30%的投资用于风险的研究以及安全的保障，设立非常具体的红线边界等。

智谱AI总裁王绍兰也出现在C3安全大会现场。他表示，大模型作为新一代技术，技术突破与落地应用速度非常快，可能是之前的十倍、百倍，而大模型带来的产业变革，也将是传统速度的百倍之高。他说，大模型在各个行业的应用并不是线性化的，而是裂变式的，并且前沿技术攻关与规模化应用是并行的，这取决于大模型的涌现能力。

谈及AI大模型的未来，王绍兰认为，多模态是一个重要趋势，另一个重要趋势是大模型智能体的能力，或许大模型将学会PDCA循环，自己训练自己，让大模型智能体真正变成生产力。

大模型安全与安全大模型

应对大模型时代的数据安全问题，行业里有两个并行方案，一是关注大模型算法的安全，比如算法的公平性、可解释性、算法对抗性以及对齐等问题；二是大模型应用安全防护技术，针对漏洞防护、路径检测及响应、agent框架安全、数据泄露等问题，并提供红队攻防服务。

亚信安全高级副总裁陈奋解析了近期由AGI技术驱动的持续升级的网络攻击与网络犯罪。他指出，AGI工具将黑客生成新威胁的时间由之前的“数个月”缩减至几小时甚至几分钟；同时，攻击者开始利用大模型迅速发现软件与服务中存在的漏洞；通过人脸深度伪造来实施网络诈骗犯罪的案例也越来越多。更严重的，攻击者的目标正由传统的数字资产转向AI算力基础设施和大模型。据陈奋透露，亚信安全监测到，短短一年时间，针对大模型的攻击手段已涌现出40种不同的类型。

“网络安全的攻防，从原来人和人之间的对抗，已经升级到AI和AI之间的对抗，只有AI驱动的网络安全防护检测技术，才能识别AI驱动的黑客攻击技术。”陈奋说，网络安全保护的对象也发生了变化，未来保护企业的资产就从传统的资产演进为保护企业的AI中心。

AI界已经在行动。微软在今年5月份已经正式商用了Microsoft Copilot for Security，旨在“帮助用户以机器的速度进行防御”；谷歌去年也发布了网络安全专有大模型，已经应用到云安全能力中心；全球网络安全巨头Paloalto、Crowdstrike已经在安全运营平台上集成了大模型的安全运营能力。在AI浪潮推动下，Paloalto已经成为全球首家市值突破千亿的安全公司，Crowdstrike，从去年至今市值已经增长了超过1倍，也逼近千亿美元。

“在中国，80%以上的网络安全公司都在将大模型技术集成到网络安全产品中，30%的公司已经开始做大模型安全的研究，也出现了一些安全创业的浪潮。”陈奋表示，亚信安全也不例外，其Security for AI计划包含了全新研发的保护算力云基础设施安全、大模型应用安全防护、大模型红蓝对抗测试等服务；AI for Security计划则聚焦网络安全行业垂直大模型的研发及运行于其上的智能体和安全应用。

亚信安全发布了网络安全行业领域自研大模型——信立方。据了解，信立方大模型可以执行网络安全行业的精准问答、复杂的告警日志解读、深度的网络安全事件分析等专用场景。

此外，国内其他安全厂商也正在试水安全领域的垂直大模型，例如奇安信推出了Q-GPT和大模型卫士、深信服有安全GPT2.0，启明星辰等厂商也都推出了相关产品。

在AI技术飞速发展的浪潮下，AI安全问题至关重要。但即便像OpenAI这样的巨头，也被曝出“超级对齐团队”疑似解散，并没有分给AI安全足够的资源与关注度，其他更多追赶其后的AI企业，在平衡技术与安全的问题上则面临更大的经济压力。

值得注意的是，AI安全并不是一个可选项，而是必选项，业界不得不为之投注更大的精力与资金。