摩尔线程完成Kimi K3.1 Pro训练适配 双机16卡连续稳定运行400步
来源:东方财富网
中经记者李玉洋上海报道
11月18日,《中国经营报》记者从摩尔线程(688795.SH)方面获悉,近期该公司基于旗舰级AI训推一体智算卡MTT S5000与MUSA软件栈快速完成了对月之暗面近3万亿参数的旗舰模型Kimi K3.1 Pro的训练适配。
需要指出的是,摩尔线程此次完成的是对先进开源大模型的训练适配,这和以往说的算力芯片Day 0适配最新开源大模型还不一样,适配/接入成功并不等于该模型是在这个芯片上预训练出来的。比如,深度求索(DeepSeek)公司在DeepSeek V4技术报告中同时并列验证昇腾NPU与英伟达GPU两条路线,验证了一套细粒度专家并行(EP)方案,行业共识认为V4 报告里昇腾+英伟达并列,是推理算子验证。事实上,DeepSeek没有官宣其基座预训练原始算力源于哪里。
摩尔线程方面表示,此次完成对Kimi K3.1 Pro的训练适配,构建了原生FSDP2多模态训练路径,打通了从模型加载、分片调度到梯度同步的完整训练链路。同时,公司已构建起成熟的工程化体系,具备对前沿复杂大模型从“快速推理部署”到“全链路稳定训练”的支撑能力。
在技术报告中,摩尔线程展示了更多细节。比如,该公司在实验中采用双机共16张MTT S5000完成跨节点联合训练测试,全部16个训练进程完成400次连续优化器更新,loss与梯度范数全程保持有限,未出现数值溢出或异常中断。
据了解,在大规模训练实战方面,摩尔线程已落地多项“国芯训国模”成果:不仅完成了021科学基础模型(2360亿参数)从零起步的完整训练,还支撑了全球首个5D世界模型“北大EvoPhys-World”的全栈原生训练,并联合智源完成具身大脑模型RoboBrain 2.5的全流程训练, 目前公司正携手合作伙伴推进万亿级参数大模型的训练。
未来,摩尔线程将持续打磨从算子适配、多卡协同到自动化工具链的完整训练能力,推动前沿大模型在国产全功能GPU上从“能训”走向“开箱即训”。
(文章来源:中国经营报)
(来源:东方财富网 编辑:骆一帆)
