大模型应用推理端的算力需求更值得关注。
21世纪经济报道记者董静怡 上海报道
8月9日消息,AI应用“妙鸭相机”已连续多日火爆出圈,上线不到一个月,算力需求暴涨数百倍。不过,通过在阿里云上紧急扩容后,其因用户暴增导致的排队情况有所缓解,排队时长已大幅减少,用户体验得到改善。
自7月17日正式上线以来,“妙鸭相机”就以9块9价格和高质量“写真”照获得了大量关注,成千上万的用户涌进应用中,高峰期一度有4000-5000人排队,需要等待10多个小时才能出片。
某资深IT人表示,“妙鸭相机”的相片生成需要庞大的GPU算力进行计算,按上述高峰期的量级至少需要几千台GPU服务器才能满足,线下部署不切实际,云上部署能为创业公司节省大量成本和时间,但目前仅有少数云计算大厂具备这样的算力储备。
“此前大家对大模型训练需要的算力关注较多,尤其是GPT类的模型训练,动辄需要上万张显卡。”上述资深人士称,随着Llama2等开源大模型的流行,大模型应用推理端的算力需求更值得关注,当AIGC进入生产力时代,推理算力需求可能远高于训练算力。
随着各个行业的AIGC开发逐步完成,对业务开展阶段使用的推理算力需求开始大幅增长,未来几个月推理的算力需求总量可能远高于训练算力。
以目前国内算力规模最大的阿里云为例,其提供最大十万卡GPU规模集群的扩展性,同时可承载多个万亿参数大模型同时在线训练和推理。此外,阿里云还提供了AI加速套件AIACC,大幅提升计算效率,大模型Finetune的训练效率可提升60%,推理效率可提升100%以上。
据相关负责人透露,“妙鸭相机”已在阿里云上进行紧急扩容,应对暴涨数百倍的算力需求。虽然算力一边加,另一边用户也在涨,但高峰期排队现象已经有了缓解。
(作者:董静怡 编辑:张伟贤)
南方财经全媒体集团及其客户端所刊载内容的知识产权均属其旗下媒体。未经书面授权,任何人不得以任何方式使用。详情或获取授权信息请点击此处。