中国工程院院士郑纬民:随着ChatGPT的发展,算力将迎来高速扩张时代

21Tech白杨 2023-04-21 18:26

人工智能算力是当前人工智能领域发展的关键。

21世纪经济报道记者白杨 北京报道

在4月21日召开的“首届超互联新算力产业暨第三届中国IDC行业DISCOVERY大会”上,中国工程院院士郑纬民谈及人工智能产业发展时表示,人工智能(AI)算力是当前人工智能领域发展的关键,也是算力基础设施的重要组成部分,是新基建和国家“东数西算”工程的关键任务抓手。

郑纬民称,AI计算是近30年才有的,在海量数据、实时响应、极端条件等场景下,AI计算较通用计算优势愈发明显,尤其是随着ChatGPT的发展,算力需求大幅提升,算力也将迎来高速扩张时代。预计到2025年,我国AI算力总量将超过1800EFlops,AI算力占总算力比重超过85%。

在谈及AI计算与HPC(高性能计算)的区别时,郑纬民指出,HPC通常应用在天气预报、核聚变模拟、飞行器设计等领域,而AI计算是做分类、回归、自然语言处理等,二者应用场合不同,运算精度也不一样。

“传统的高性能计算机的测试结果与人工智能需要的性能不完全一致。高性能计算算力测试程序主要使用双精度浮点数运算,即64位浮点运算,人工智能训练以单精度浮点数,即32位浮点数为主。”在郑纬民看来,现在要做符合语言模型的训练,就要考虑半精度平衡性,即设计中主要考虑半精度运营性能,又要注意双精度运算能力不能过低,所以双精度与半精度运算性能之比为1:100较好。

除此之外,郑纬民认为AI计算还需要做到网络平衡设计和IO子系统平衡设计。“现在很多厂家都已经在考虑这三个平衡设计,国内也有差不多30个城市在建或者建好了AI超算中心。”据其预测,HPC+AI+大数据中心在未来不超过5年的时间内将会融合到一台计算机中,“既可以做HPC,又可以做AI,也能处理大数据”。

另外针对AI大模型,郑纬民提出,ChatGPT出来以后,大家对大模型训练都比较关心。在其看来,参数越多、训练的数据越多、计算机越多、效果就越好,越接近于人脑,这里面是正相关关系,所以探索更大参数模型的效果具有重要科学意义。

(作者:白杨 编辑:骆一帆)

白杨

IT版记者

关注科技互联网领域报道。微信:by_xiansheng(加好友请备注姓名、公司及职务)