端侧智能迎来撞线前夜，大模型跑进普通人的手机

来源：时代周报

端侧智能迎来撞线前夜,大模型跑进普通人的手机

刘娟

“两年内达到GPT-6的水平,我们觉得是可以实现的。”

在面壁智能近期举办的一场技术交流会上,公司联席首席科学家姚远做出上述回应。这直接揭示了端侧模型在有限算力下智能程度的巨大潜能。

一方面是模型走向Agent,一方面轻量化模型扎堆出现,其背后都指向一个共同目标:在模型参数量更小、成本更低的情况下实现更优的智能化水平。

端侧模型正成为市场瞄准的“标的”。二级市场上,端侧AI概念近期也迎来涨势。消息面上,10月31日,苹果宣布国行版 Apple Intelligence正式接入阿里通义千问,11月4日开启测试,12月正式推送。海外头部终端选择国产大模型落地,被视为端侧AI从概念走向商业化验证的标志性事件。

“我们还是很相信端侧能做很多事情的,端侧模型能做到的边界还是超出了我们自己的预期,连我们自己一开始都低估了这件事。”姚远在接受媒体采访时表示。

2026年被称为“端侧模型元年”。面壁智能成立于2022年,是一家专注高效智能的基座大模型公司。截至目前面壁智能已发布多款多模态、全模态端侧模型,其基于MoE架构的新模型MiniCPM-V4.7 35B已成功部署在手机终端。

“过去这些年,端侧模型能够提供的智能水平,已经突破了很多需求的水位线。”姚远介绍,模型从简单的文本续写、信息抽取、写作改写,到多模态的图像和视频理解,现在端侧模型甚至也能初步完成工具调用等任务。端侧能够供给的智能水平,正在相对快速地增⻓。姚远认为当端侧智能水平超过基准线的时候,就能满足用户更多的需求。而现在,是端侧模型撞线的前夜。

原因在于,计算密度在持续提升,但不同场景对计算密度的需求有各自的最低⻔槛。如果希望计算以PC或智能手机的形式发生,就必须达到相应的计算密度。技术供给达不到这个⻔槛,事情就无法发生。因此,技术供给和场景需求这两条线,可以看作是两条相对独立、又客观发展的曲线。

“到这条线之前,我们处于大型机时代。当供给的计算密度‘撞线‘,就会进入PC时代;进一步撞线,就进入移动智能时代。”姚远说。

尽管端侧模型已取得进展,但物理条件受限是端侧模型的天然土壤。这也意味着端侧模型要在物理条件严格受限的设备上运行,需要考虑延迟、推理速度、功耗等约束。因此,模型设计的基本原则,是要在这些约束下逼近物理极限,实现更高的智能水平。

针对上述挑战,面壁智能在模型和基础设施两个方向找到解法。模型侧,面壁智能团队提出了密度定律,即每3.5个月,模型智能密度翻一番,模型的智能密度将不断提升。在基础设施侧,面壁智能提出前瞻专家调度(LES),主要解决在token还没有到达相应计算层之前,提前预判需要哪些专家,并将它们从闪存加载到内存。而这样做的目的是能够在有限的内存空间内,将模型的计算时延和准确性做到最优水平。

除了模型能力之外,隐私保护是模型在应用侧需要直面的问题。记者了解到,全部计算发生在本地,图片、笔记、聊天对话数据不需要上传远端服务器,从根源避免用户个人信息外泄风险。同时姚远在接受采访时坦言,端侧并非完美保险箱,模型本身依旧会存在幻觉、误判,技术上依靠迭代视觉压缩、自省式强化学习等方案,不断降低出错概率,关键原始资料依旧建议保留原始文件存储,避免AI记忆出错带来麻烦。

而在场景落地层面,端侧智能并非只服务旗舰手机。MiniCPM‐V 4.7推出两套版本,35B‐A3B版本冲击端侧能力天花板,在旗舰机上对标过往云端旗舰模型;1B版本面向普惠,千元安卓、入门苹果机型都可以流畅跑通,让更多普通用户能够接触本地AI能力。除手机之外,汽车座舱也是极具想象空间的场景,依靠本地多模态感知,识别车内人员、联动车内外设,实现个性化的座舱服务。

但是现阶段依然存在现实约束,软件需要不断适配硬件带宽、读写特性,软硬协同磨合仍在持续。业内人士认为未来不会是端侧完全替代云端,而是端云相互配合的协同方式。日常琐事交给本地设备,高难度复杂任务求助云端,让智能真正普惠到每一台普通人手中的设备上。