从精准咬合到解放演员 算法的星光衬托人的美

北京冬奥组委官网
2022-02-05 16:02

北京2022年冬奥会开幕式上,惊艳的点火仪式前,放飞的“和平鸽”随着孩子们的奔跑而变得鲜活,彻底点燃了“鸟巢”的热情。这个重头戏环节中,最吸引大家注意的,是天真烂漫地孩子,自由而欢愉地奔跑,带着节日的喜庆,也带着他们脚下绚丽的“雪花”。现场地屏呈现出的实时互动,其背后的3DAT技术,是本届奥运会开幕式的一大科技亮点。

北京冬奥会开幕式现场。新华社记者 兰红光 摄北京冬奥会开幕式现场。新华社记者 兰红光 摄

根据英特尔3DAT项目负责人贺郁馨介绍,在“鸟巢”6层看台上,部署有两套一组、共两组摄像机,它们实时捕捉场内信号,把演员的图像传回机房,通过计算机视觉和人工智能算法,把每个孩子在场内的位置提取出来。

“这是第一次在世界级的大会(表演)上采用这种实时捕捉的技术。”贺郁馨说。

东京奥运会上,英特尔的3DAT曾被应用于田径比赛中,以增强观赛体验。

位置坐标通过英特尔的机房,传到AI实时特效的渲染服务器上,由北京电影学院团队进行处理,呈现美术效果,再实时反馈到地屏上。观众看到的场面,是炫美的地屏效果追随着孩子们欢快跑动的脚步,他们的每一步都带出场地浪漫的气息。

渲染服务器底层是人工智能算法。AI实时特效团队前期进行了大量的筹备工作,通过几万张照片训练AI模型。根据该团队负责人韩柯介绍,这套AI模型具备通用识别的能力,再通过学习现场演员的服装和道具,可以更加精准地识别。

“这一套几乎是零延时的。”北京冬奥组委开闭幕式工作部部长常宇说,“这里解决了大量的技术问题,才能得以呈现出来那样的一个大家在冰天雪地里自由欢愉的感觉,这也是我们想在结尾阶段想要获得的感觉。”

北京冬奥组委开闭幕式工作部部长常宇北京冬奥组委开闭幕式工作部部长常宇

常宇透露,在大型演出活动中启用实时渲染,实现全实时互动,这是一个冒险,以前几乎从未有过,“我们敢不敢把它用在奥运会的开幕式上?对我们大家都是挑战。”

对于总导演张艺谋来说,接受智能化也是一个累积的过程。韩柯透露,AI实时特效项目与张导进行了大量沟通,一开始只在很小的节目中试用。在测试了十几场彩排都没有出现问题后,张艺谋最终决定,让这项“黑科技”所带来的视觉盛宴,在冬奥会开幕式的重头戏里亮相。

技术是挑战,“和平鸽”的节目编排也是。经过几次反复,编排情况并不尽如人意。直到有一天,常宇与总导演张艺谋一起在鸟巢四层的指挥台上,看到和平鸽节目的演员——几百名小朋友正在候场,在3DAT系统已经搭建完毕的场地里,他们自己玩儿了起来,跑来跑去,自由而欢愉,而脚下的“雪花”像忠实的玩伴一样,处处追随着他们。孩子们开心极了。

导演一指:行,就这个了。

“这个技术跟孩子的天性,能够耦合得很好,这不是(刻意编)排出来的。”常宇说。

这样的自然无痕是节目编排的“心意”,算法也因此闪耀出点亮人的光芒。

在平昌冬奥会闭幕式的“北京八分钟”表演中,演员和地面线条也实现了互动,但4年前的技术能做到的,还只是人与线条的精准咬合。而这一次,“完全解放了演员”。韩柯说,“这也是人工智能给我们以后的社会带来的便捷。”

“有前景!”

韩柯认为,这三个字是年过七旬的总导演对团队的最大褒奖。

(文/ 张蕾)

来源:北京冬奥组委官网

(编辑:李鹏飞)