高文院士:鹏城云脑已支撑近千个国产AI模型训练,性能世界领先

数字生产力马嘉璐 2023-05-22 09:51

南方财经全媒体见习记者马嘉璐  南沙报道

“‘鹏城云脑’是一部‘百科全书’。”5月21日,鹏城实验室主任、中国工程院院士高文在大湾区科学论坛上表示,“鹏城云脑”具有世界先进的算力性能,将面向全社会为大模型训练提供算力底座。

鹏城实验室主任、中国工程院院士高文在大湾区科学论坛主论坛作主旨报告

高文解释,大模型的核心,第一要有巨大的算力,算力不够无法做大规模训练;第二要有海量的数据,数据不够难以总结出规律;第三要有好的算法,这样才可以在尽可能短的时间里完成训练。ChatGPT背后,就有微软支持的拥有上万块A100芯片的算力服务器支持。他透露,由鹏城实验室研制的“鹏城云脑II”搭载了4096颗AI芯片,每颗芯片的算力与A100相当,整机算力达到每秒100亿亿次AI运算,既可以做理论研究,也可以做核心技术应用,可以为大模型训练提供有力的算力支持。

鹏城实验室是中央批准成立的突破型、引领型、平台型一体化的网络通信领域新型科研机构。作为国家战略科技力量的重要组成部分,实验室聚焦宽带通信、新型网络、网络智能等国家重大战略任务以及粤港澳大湾区、中国特色社会主义先行示范区建设的长远目标与重大需求,开展领域内战略性、前瞻性、基础性重大科学问题和关键核心技术研究。“鹏城云脑”即是其重要的研发项目。

“鹏城云脑”的性能世界领先。2022年11月,“鹏城云脑II”连续在Graph 500 SSSP性能榜单、世界人工智能算力性能500排行榜(AIPerf500)中位居榜首;同月,又以绝对技术优势获得全球IO500排行历史性的五连冠。

高文表示,目前“鹏城云脑”的分配率很高,约70%的机时服务于鹏城实验室以外的企业、高校、科研院所等人工智能优势单位,已支撑近千个国产AI模型的训练,成为了国家最重要的自主可控的开放的AI大模型训练平台之一。全球首个全开源的两千亿参数中文预训练语言大模型“鹏城·盘古”、全球首个知识增强千亿大模型“鹏城-百度·文心”、性能达国际先进水平的十亿参数视觉大模型“鹏城·大圣”,都来自“鹏城云脑”。此外,以“鹏城云脑”为核心的中国算力网建设也已经启动,建成后,算力就可以像今天的电力一样“即插即用”。

“‘鹏城云脑’是一部‘百科全书’,各个垂直细分领域的机构和企业可以按需使用。”高文说,“鹏城云脑”正在推动构建开源合作的生态和创新体系,希望通过提供大模型底座的方式,向各行各业赋能。

高文透露,鹏城实验室正在拟定相关计划,旨在8月底面向全社会提供大模型训练算力,训练过程保护数据安全和隐私。论坛上,他为这一计划“在线招聘”大模型人才,并透露鹏城实验室和中国移动在前不久共同发起设立基金,将在三年内投资两亿元,用以支持人工智能研发。“用大模型提供足够算力,构建开源合作的生态,再加上不断汇入的年轻力量,我想这样就能够对中国人工智能的发展起到添砖加瓦的作用。”

(作者:马嘉璐 编辑:李苑立)