冬奥黑科技丨张家口冬奥村里的AR地图

21Tech白杨 2022-01-26 19:19

这是厘米级的高精度三维地图。

21世纪经济报道记者白杨 北京报道

1月23日,冬奥村迎来首批“居民”,来自多个国家和地区的代表团先遣团正式抵达入住。

据悉,北京冬奥会有北京、延庆、张家口三大赛区,每个赛区各有一个冬奥村。作为运动员参赛期间的“家”,冬奥村工程从选址设计到建设完工,历时5年之久。

其中,张家口冬奥村位于张家口市崇礼区太子城冰雪小镇内,总建筑面积23.9万平方米,整个区域被划分为居住区、广场区和运行区三部分。

具体而言,居住区由9个院子和1幢独体楼组成,每个院子又由3至4栋小楼围成;广场区面积约2.17万平方米,由商业服务、赞助商服务、特许经营、中医展示、文化活动等22个运营空间组成;运行区则是赛时将为村内居民、访客、媒体等人员提供进出村服务的场所,包括运动员班车站、代表团接待和访客中心、媒体中心、安保中心等。

在冬奥会和冬残奥会期间, 张家口冬奥村预计接待来自79个国家和地区代表团的2600多名运动员及随队官员。为了让这些来自全球各地的“居民”更快地熟悉冬奥村环境,张家口冬奥村除了在真实场景中做了精心的引导提示,同时还联合商汤科技打造了一个AR导航应用。

基于该应用,运动员通过手机识别周边实景,就能锁定自己的位置,输入目的地后,跟随地面上的AR虚拟箭头便可抵达。

相较于传统导航方式,AR导航将路线标识与真实场景融为一体,拥有更加沉浸的视觉体验,同时,AR导航也能让运动员对周边整体环境,包括自身位置以及通行路径有更直观的掌握。

科技冬奥,是北京冬奥会的一个关键词,在整个赛事期间,几乎每个环节都能看到对新技术的应用。而张家口冬奥村的这张“虚实结合”的地图,也是科技冬奥的一个缩影,借助AI、AR等新技术,虚拟与现实得以融合,更关键的是,它能切实地帮助到冬奥村村民。

冬奥村的挑战

据记者了解,张家口冬奥村的AR导航系统是在科技部“科技冬奥”重点专项“雪上场馆智慧呈现与先进显示技术研发和应用示范”资助下,“基于3D的实时精准定位技术、虚拟与现实结合的3D高精度识别的AR导航系统研究”课题的成果之一。

2021年5月,商汤科技申报了该项目,同年8月份,该项目正式确定。 

商汤科技冬奥项目负责人告诉21世纪经济报道记者,做AR导航的基础性技术是大尺度场景下高精度地图的构建和部署,在这方面,商汤科技有过一些技术和实战经验的积累。

张家口冬奥村厘米级高精度三维地图

比如,商汤科技曾为杭州西湖风景区打造过一条“AR游览路线”。在这条全长1.4公里的线路上,游客用手机App对着实景扫一下,就可以开启AR导航浏览模式。另外,同样的技术也落地到了长沙黄花机场和成都IFS商场等室内场景。

所以,从基础技术上来说,打造冬奥村的AR导航对商汤科技并没有太大难度,但是在具体实施过程中,仍然具有一些挑战。

比如在数据采集上,AR导航的核心是视觉定位,实景图像信息是最基础的素材,但因为冬奥村项目一直处于建设过程中,所以商汤科技在去年11月份首次进行全景数据采集时,很多地方其实都还没有建设完成,因此在12月份,商汤又进行了一次数据补采。

这也导致,整个项目虽然在去年8月份就已经敲定,但真正开始实施,其实是从11月份数据采集完成后。而且后续还要根据实时更新的实景数据不断调整技术模型,所以时间上比较紧迫。

除此之外,该项目还有一个重要难点。商汤科技的项目负责人表示,冬奥村内建筑群风格比较统一,所以各个地方存在大面积相似的纹理,并且常有冰雪覆盖道路、植被和建筑,造成场景的视觉变化会很多,要在这种环境下基于图像精准识别自身位置,存在很大挑战。

用技术解题

为此,商汤科技创新地通过GPS与视觉融合的数据关联方法和参数分块优化方法,在短时间内快速支持了张家口冬奥村厘米级的高精度三维地图构建。同时,商汤科技还研发了云端结合架构,实现了云端全局定位和终端局部跟踪的协同。

其中,在云端的全局定位上,商汤科技通过综合利用视觉、蓝牙、GPS等信号解决了相似场景的问题,并针对冰雪场景训练了不同天气条件下鲁棒的图像特征; 

而在终端局部跟踪方面,商汤科技借助云端地图信息和自身传感器,在web低算力的条件下实现了稳定跟踪,这使得最终的AR导航应用在复杂场景下也能实现实时、精准的6自由度空间定位。

另外,商汤科技还建立了一套虚拟内容编辑和创作工具链,通过可视化的编辑工具,能快速创建各种AR内容。这也让冬奥村AR导航的内容变得更加丰富,比如运动员在使用过程中,可能会看到北京冬奥会吉祥物冰墩墩在空中遨游,也可能看到一些虚拟大屏。

商汤科技的负责人告诉记者,在冬奥村正式开村之前,整个AR导航应用已经进行了近一个月的测试,在测试期间,也发现了一些问题。

比如之前的定位方案在一些特殊场景下不够准确,后来商汤科技通过二级定位的解决方案规避了该问题;再比如在测试过程中,商汤科技才发现冬奥村是一个斜面,存在数米的落差,后来也是通过重新建模,用技术的方式将导航地图动态的规划在一个水平面上。

正是经过反复的测试修改,如今,这套AR导航应用已经可以在张家口冬奥村近24万平方米区域内的任意地点,都能保证精准定位,以及无延迟感的沉浸式AR导航体验。

此外,考虑到运动员的不同使用习惯,AR导航应用也无需独立App,仅借助web浏览器即可使用。

商汤科技负责人告诉记者,为了AR导航项目,商汤组建了20多人的固定团队,在冬奥村运行期间,该团队也将在后方值守,确保AR导航项目的顺利运营。据悉,冬奥村将于1月27日正式开村,至3月16日闭村,共运行53天。

(作者:白杨 编辑:张伟贤,卢陶然)

白杨

IT版记者

关注科技互联网领域报道。微信:by_xiansheng(加好友请备注姓名、公司及职务)