欢迎访问喜蛋文章网

你的位置：首页 > 经典文章 > 文章正文

有了这项技术，我们可以科学地闪现！

时间: 2021-05-06 12:54:43 | 作者：中科院物理所 | 来源: 喜蛋文章网 | 编辑: admin | 阅读: 115次

有了这项技术，我们可以科学地闪现！

来源：新浪微博

今年春晚周董带来的《mojito》节目由于过于精致炫酷而被怀疑是直接播放录好的MV。

春晚节目《mojito》

由于疫情原因，周董本人当时真的在台北，而节目方又辟谣说这不是MV，是周董现场直播的节目，那到底是什么魔法让周董空降到央视春晚的呢？

要讲清这项技术，就不得不介绍一下VR、AR和MR技术了。

(Virtual Reality)

VR技术大家应该并不陌生，各大商场常设有VR体验馆，VR游戏也是不少玩家的心头好，斯皮尔伯格导演的《头号玩家》正是基于一款虚构的VR游戏展开剧情的。

《头号玩家》海报

VR技术全称虚拟现实技术，它是基于计算机模拟出虚拟环境给人三维环境沉浸感。

来源：amazon

VR最简单的构造便是：一个壳+两个镜片+一个显示屏。通过透镜的成像原理将小范围的图像视角“放大”，形成大范围的虚像。

来源：zhihu

由于人的双眼有视觉差异、变焦功能等等，再通过软硬件结合，符合人体结构，优化图像通过人眼传递到大脑的感受，然后你就可以得到一台：

PlayStation VR headset

大家玩VR游戏的时候可能都会沉浸在炫酷的3D世界中，忘记现实，以致于你以为你玩VR游戏的样子：

来源：youtube

而其他人看到你们的样子：

来源：微博

来源：澎湃新闻

当然，VR的应用远不止于此，它可以给学生身临其境的教育场景，给技术人员模拟工作的体验，在教育、科普、医疗、旅游等很多方面都有优势。

(Augmented Reality)

AR技术全称增强现实技术，是一种实时地计算摄影机影像的三维位置并加上相应图像的技术。简单来说就是在现实的场景中再扩充叠加信息，让真实世界与虚拟世界“无缝”集成。

来源：zhihu

AR是人工智能和人机交互的交叉学科，基础技术包括计算机视觉（CV）、机器学习、多模态融合等。

累坏你家狗子的游戏《Pokemon Go》便是一个典型的AR游戏。

AR游戏《Pokemon Go》

AR技术的应用相比较而言更广泛也更亲民，有一部智能手机便可以享受AR技术，比如手机里可以进行测量的app：

找不到方向时给你指路的实景导航：

如今的AR设备可以是头戴式显示器（如Google Glass）、移动设备（如智能手机和平板）等。随着软硬件的升级，未来AR技术将会变得更加智能。

来源: IPCS

(Mixed Reality)

MR技术全称是混合显示技术，比较像VR+AR混合，一边利用虚拟环境展示出更多的信息，一边利用真实环境带来更好的沉浸感。因此为了让人有逼真的MR体验，离不开强大的计算能力，所以目前只有少量产品展问世，比如Microsoft HoloLens。

Microsoft HoloLens

说完这些，我们迎来今天的主角——XR技术。

XR (Extended Reality)

XR技术

全名为拓展现实技术，x也有变量的意思，现实世界与虚拟世界通过这个技术巧妙地结合在一起。它的实现离不开上文提到的VR、AR、MR技术，通过这些强大的工具，创造出新的“现实”。

来源：zhihu

目前，XR技术最为人所熟知的应用便是智能舞台与虚拟制作(Smart Stage & Virtual Production) 。各种炫酷的背景，植物的枝叶，处于另一个空间的人，动物通通都可以通过XR技术放置在表演者的周围。

来源：AED Studios

你可以在北京的演播室拍摄身处4000多公里以外的珠穆朗玛峰的场景，甚至还可以躺在38万公里外的月球之上，只有你想不到，没有XR技术做不到。

XR技术的强大之处还在于，表演者和摄影机可以在舞台上自由移动。XR技术会让虚拟世界永远以正确的视角实时展示在观众的面前，以确保屏幕前都是逻辑正确的图像。因此，在观众看来，表演者或者主持人似乎实时地身处虚拟世界。

英雄联盟S10开幕式表演直播版

如何在舞台上创造XR世界？

在传统的影视制作中，要想将一个实物放入设想的虚拟世界，可以用绿幕抠像与影视后期制作来完成。但是这个过程需要前后期准备，缺乏时效性。随着人们获得新奇视觉体验的需求量越来越高，我们开始寻问：如果想实时地获得这些效果该怎么办？实际上，构成我们眼前屏幕上画面的元素包括背景，真实物体以及前景 (即空间逻辑关系在真实物体之前的虚拟物体)。

来源：bilibili

除了实物以外的画面，都是通过3D渲染引擎渲染完成的。想要在摄影机运动的情况下得到实时的反馈，虚拟内容就需要跟随着摄影机的位置时刻变化。这就要求3D渲染引擎拥有强大的实时渲染能力，如Notch、UE4等等，它们能在有限的时间内渲染大量的视频画面以适应摄影机时刻变换的位置。

来源：google

如何让虚拟画面出现在真实物体周围呢？不难想到，投影机加投影屏幕的组合或者搭建LED屏幕可以实现大部分的背景显示，只要合理地搭建这些显示设备，我们就能在一个有限的空间内达到沉浸式的显示效果。

来源：google

将渲染引擎实时渲染完成的符合摄影机拍摄时空间透视关系的画面实时地映射到这些显示器上，就能得到一个三维的虚拟空间，再将另一个实时渲染出来的前景叠加在这个拍摄信号之上，观众便可以看到更符合认知的前中后关系的画面。

来源：AED Studios

摄像机的运动则是通过一套追踪系统完成追踪的，摄影机的位置又包括固定机位，摇臂或者云台控制的机位，它们通过特定的协议传输摄像机所在的空间位置信息以及镜头的某些参数，以帮助渲染引擎理解摄像机的位置。有了摄像机追踪系统，实时渲染系统和LED或者投影构成的显示系统，我们还需要一个虚拟制作系统进行收发，解包，修整，对齐等工作，将三者配合起来，以完成我们眼前的画面。