从精准咬合到解放演员 算法的星光衬托人的美
北京2022年冬奥会开幕式上,惊艳的点火仪式前,放飞的“和平鸽”随着孩子们的奔跑而变得鲜活,彻底点燃了“鸟巢”的热情。这个重头戏环节中,最吸引大家注意的,是天真烂漫地孩子,自由而欢愉地奔跑,带着节日的喜庆,也带着他们脚下绚丽的“雪花”。现场地屏呈现出的实时互动,其背后的3DAT技术,是本届奥运会开幕式的一大科技亮点。
北京冬奥会开幕式现场。新华社记者 兰红光 摄
根据英特尔3DAT项目负责人贺郁馨介绍,在“鸟巢”6层看台上,部署有两套一组、共两组摄像机,它们实时捕捉场内信号,把演员的图像传回机房,通过计算机视觉和人工智能算法,把每个孩子在场内的位置提取出来。
“这是第一次在世界级的大会(表演)上采用这种实时捕捉的技术。”贺郁馨说。
东京奥运会上,英特尔的3DAT曾被应用于田径比赛中,以增强观赛体验。
位置坐标通过英特尔的机房,传到AI实时特效的渲染服务器上,由北京电影学院团队进行处理,呈现美术效果,再实时反馈到地屏上。观众看到的场面,是炫美的地屏效果追随着孩子们欢快跑动的脚步,他们的每一步都带出场地浪漫的气息。
渲染服务器底层是人工智能算法。AI实时特效团队前期进行了大量的筹备工作,通过几万张照片训练AI模型。根据该团队负责人韩柯介绍,这套AI模型具备通用识别的能力,再通过学习现场演员的服装和道具,可以更加精准地识别。
“这一套几乎是零延时的。”北京冬奥组委开闭幕式工作部部长常宇说,“这里解决了大量的技术问题,才能得以呈现出来那样的一个大家在冰天雪地里自由欢愉的感觉,这也是我们想在结尾阶段想要获得的感觉。”
北京冬奥组委开闭幕式工作部部长常宇
常宇透露,在大型演出活动中启用实时渲染,实现全实时互动,这是一个冒险,以前几乎从未有过,“我们敢不敢把它用在奥运会的开幕式上?对我们大家都是挑战。”
对于总导演张艺谋来说,接受智能化也是一个累积的过程。韩柯透露,AI实时特效项目与张导进行了大量沟通,一开始只在很小的节目中试用。在测试了十几场彩排都没有出现问题后,张艺谋最终决定,让这项“黑科技”所带来的视觉盛宴,在冬奥会开幕式的重头戏里亮相。
技术是挑战,“和平鸽”的节目编排也是。经过几次反复,编排情况并不尽如人意。直到有一天,常宇与总导演张艺谋一起在鸟巢四层的指挥台上,看到和平鸽节目的演员——几百名小朋友正在候场,在3DAT系统已经搭建完毕的场地里,他们自己玩儿了起来,跑来跑去,自由而欢愉,而脚下的“雪花”像忠实的玩伴一样,处处追随着他们。孩子们开心极了。
导演一指:行,就这个了。
“这个技术跟孩子的天性,能够耦合得很好,这不是(刻意编)排出来的。”常宇说。
这样的自然无痕是节目编排的“心意”,算法也因此闪耀出点亮人的光芒。
在平昌冬奥会闭幕式的“北京八分钟”表演中,演员和地面线条也实现了互动,但4年前的技术能做到的,还只是人与线条的精准咬合。而这一次,“完全解放了演员”。韩柯说,“这也是人工智能给我们以后的社会带来的便捷。”
“有前景!”
韩柯认为,这三个字是年过七旬的总导演对团队的最大褒奖。
(文/ 张蕾)
来源:北京冬奥组委官网
(编辑:李鹏飞)