本
文
摘
要
虚拟现实和增强现实头盔可以提供令人兴奋的数字体验，但你很难向一个没有用过头盔的人描述它，因为他能看到的只是现实生活中的真实东西，以及一个戴着头盔的呆子。 这道沟壑可以通过一种叫做混合现实（Mixed Reality， MR）的技术来弥补。这项技术作为一种媒介转化方法，把VR用户所见的虚拟世界转化为二维的影像，如此便可以让其他人清楚的看到VR使用者的体验。而运用混合现实技术对于营销有着非常大的帮助，可以更好的让潜在的消费者充分了解到产品的优劣。接下来将会详细的为大家列出如何拍摄MR！
一，如何拍摄混合现实影片？
（一），需要哪些设备？
1.HTC Vive控制器x1
2.摄影用绿色幕布（根据拍摄房间大小准备）
3.LED摄影灯组
4.携带型背景架
5.HDR-CX405扩充架
6.控制器固定架
7.摄像撷取卡/盒
8.影音输出线
9.USB延长线x
10.入门摄影机
11.脚架
12.显示器:1080P需4K屏幕
设备需求比较高，除去HTC Vive和高端PC之后，不包括摄影机的消费大约在5500元，若有更好的渠道可以减少拍摄成本，那便更好。当完成这些准备后，就可以进行下面的步骤了。
（二）架设绿幕摄影棚
架设绿幕摄影棚的主要目的是让真实拍摄后的影响能够去背，最少需要两侧墙壁加上地板三块绿布，架设完墙壁的绿布之后尽可能的将绿布弄得平整，减少褶皱。架好两块绿幕之后，最后将地板绿布铺设时要注意，由两墙的绿布平整的叠在地板绿布之上。灯光的照射一定要打的均匀，能更好的完成去背效果。
（三）安装撷取卡或者撷取盒
安装撷取卡、撷取盒的主要作用是撷取西安市摄影机的换面进入OBS，安装撷取卡的过程需要拆装电脑，过程比较繁琐，而使用撷取盒只需要USB线连接上电脑就可以。
更好的完成去背效果。
（四）游戏设定文件夹建立
打开记事本复制上以下文字并存挡，名称取为「externalcamera」，并将副档名改为.cfg，或者点我下载。将这个档案放到你想要开启 MR 游戏（部分游戏支援如：Space Pirate Trainer, Job Simulator. Zenblade, Tiltbrush...等等）的游戏目录。
x=0
y=0
z=0
rx=0
ry=0
rz=0
fov=60
near=0.1
far=100
//m=-0.999059,0.015577,-0.040472,-0.0127,-0.016016,-0.999816,0.010544,0.1799,-0.040301,0.011183,0.999125,-0.0846
（五）将第三个控制器固定在摄影机旁
第三控制器的功用是负责定位摄影机的位置，所以必须完全不动的固定在摄影机的旁边，一般有热靴的摄影机，可以在热靴上装夹子，或者是直接把控制器绑在闪光灯上。
（六）开启控制器顺序
由於Unity的插件会判断第三个控制器为摄影机镜头的定位，请安照以下步骤进行：
1. 确定所有控制器尚未连接电脑
2. 开启SteamVR然後关闭SteamVR
3. 开启控制器1号与控制器2号（摄影机同步用以外的两个控制器)也就是按下系统钮（圆盘上方那颗）
4. 开启SteamVR，确定控制器1丶2有被侦测到
5. 将第三控制器用USB连接的方式接上电脑
6. 确定第三控制器被侦测到即可
以上这个步骤是为了确定摄影机同步使用的控制器是在第三个位置
（七）开启游戏启动MR模式
以下都用 Space Pirate Trainer 作为范例，确定externalcamera.cfg 放入游戏目录后，将游戏开启，按照以下步骤进行:
1. 确认三個控制器都有被 Lighthouse 侦测到
2. 按着 Shift 点击开启游戏 (Space Pirate Trainer)
3. 选择适合你荧幕的最高画質
4. 通常這個時候只會有正常的画面，在遊戏里会少一个控制器，请先戴上头盔，看着1、2控制器的方向多按几次扳机(Trigger)，直到两個控制器在游戏中出现
5. 回去看电脑荧幕的游戏画面就会分成四格，代表成功开启 MR 模式了
左上：前景、左下：摄影机镜头（第三手把定位)、右上：后景、右下：第一人称视角
（八）OBS设定
此范例是在 FHD(1080p) 的荧幕下执行:
1. 将摄影机的输出 (output) 接到撷取卡或撷取盒的输入 (imput)
2. 下载并开启 OBS
3. 开启后再来源下面的"+"新增"影像撷取装置"，并开启你的摄影机
装置: 选择你的撷取卡 (小编这边是使用AverMedia GC550)
解析度/FPS类型：自订
解析度：选择你实际录影的解析度(小编这边是1920x1080)
摄影机屏幕在 OBS 出现时按下确定
4. 在刚新增的影像装置上点右键，选择滤镜，按左下小的"+" 新增一个 Chorma Key 或是 Color Key，Key Color (去背用滤镜)， Type 选 Green，来回调整 Similarity( 识别度)和 Smoothness (圆滑度)直到绿色被清掉为止。
5. 开启游戏进入MR模式之后，按"+"新增一个"视窗撷取"，选择你当下的游戏视窗。
6.在刚刚新增的视窗撷取点击右键，选取滤镜，新增一个Crop (剪裁) 滤镜调整 Top 和 Right 把左下角格子以外的地方剪裁掉，关闭将撷取的视窗放大置中后，就有了游戏的背景。
7.前景用与步骤6的方式撷取左上角那格，用 Color Key 滤镜把黑色去掉，把影像跟背景对齐即可，最后只要注意顺序是：1.前景 2.摄影机 3.背景 即可，最后只要把相机和控制器的定位同步就大功告成了。
（九）相机与控制器同步
这个步骤可能是最后也是最麻烦的，externalcamera.cfg 的资讯是填入相机与控制器的距离差距、镜头角度差距以及镜头实际的FOV素质，正确的调整资料可以达到完美的同步，请按照以下步骤:
虚拟摄影机对应控制器的预设位置，方向如上图
1. 测量镜头与预设位置之间的距离，分为平行(X)丶垂直(Y)与前后(Z)，以及旋转的幅度（一般来说水平放的话会是0，但小编的案例稍微往上旋转约16.5度左右）。
2. 计算「垂直FOV」，这个数值并没有想像中的容易计算，一般相机规格写的 FOV 并非「垂直FOV」Kert Gartner 有提供计算机，小编是用其他方法测量的(往下会写），这个留给专业人士使用。小编这边也提供一些镜头的垂直 FOV 数据：
Sony HDR CX405: 42.7 (来源：自己图法炼钢测出来的）
LogitechC920 或 C910: 43.3 (来源：SteamVR Mixed Reality 讨论串）
全片幅 (Full Frame) 搭上 35mm 镜头：27 (来源：SteamVR Mixed Reality 讨论串）
PS3 Eye (75FOV模式) : 45 (来源：SteamVR Mixed Reality 讨论串）
如果以上没有办法算出你相机的垂直FOV请继续往下阅读
3. 把数值填入
用记事本打开「externalcamera.cfg」，把刚刚测量的数值填入，X，Y，Z 单位是公尺，rx，ry，rz (旋转)单位是度。
这里是小编的案例：摄影机比控制器预设位置，X差距2公分、Y差距17公分、Z差距2公分、前后旋转差距16.5度，输入后记得保存。
x=0.02
y=-0.17
z=0.02
rx=16.5
ry=0
rz=0
fov=42.7
near=0.1
far=100
//m=-0.999059,0.015577,-0.040472,-0.0127,-0.016016,-0.999816,0.010544,0.1799,-0.040301,0.011183,0.999125,-0.0846
sceneResolutionScale=0.5
4. 开启游戏，看着 OBS 测试，不断开启关闭调整数值，微调直到完美为止。 假设数值在实际测量的步骤有做好，开始微调时会再差不多准确的状态，慢慢花时间调整到好为止。
5. 如果在步骤3尚未找到垂直 FOV 数值，先假设 XYZ 或 rxyz 已经调整好，直接开始大幅度的调整 FOV，先了解 FOV 的习性，慢慢调整到差不多的状态，到最后再去微调 xyz 以及 rxyz，这里会花很多时间，但目前并没有更快的捷径，所以在步骤1、2时，测量准确以及填写正确，这样会在图法炼钢 FOV 时省下很多时间。
6.透过以上步骤同步完美之后，就能够透过 OBS 录制或是直播混合实境的游戏影片了。
二，拍摄MR软件的种类
（一）微软Spectator View
Spectator View主要包括软件和相机系统。先将HoloLens安装在数码相机的顶部，然后头显会借助一个可由3D打印的特殊支架无线地连接至PC，数码相机则借助HDMI输出到SD卡中。之后就可以打开Spectator View软件进行测试应用。
Spectator View的应用有点类似MR拍摄，微软此前也曾开发过Mixed Reality Capture（MRC）来帮助全息图的可视化，让观众看到HoloLens使用者正在看到的影像。但是不同的是，这次推出的Spectator View可以以第三人称的视角来看这些画面。
但是考虑到HoloLens需要3000美元，如果想要拍出这种MR视频，前提是你还得有两台HoloLens，所以成本非常高，目前看来只是适用于开发者。
（二）Blueprint Reality的MixCast VR
目前，绝大多数混合现实视频制作流程比较复杂，设置相机的应用比较浪费时间。MixCast VR提供快速简单的一次性设置，可在所有支持的应用程序中工作，无需其他配置。MixCast VR是一款功能强大的VR广播和演示工具，它简化了混合现实视频的制作流程，至于要一次性简单的快速设置，可在所有支持的应用程序中工作，无需其他配置。据了解，MixCast VR SDK已经接入Unity。
目前，MixCast VR SDK免费提供给UnityAsset Store上的开发者。而在Steam平台上 MixCast VR提供每月9.99美元和20美元订阅三个月的授权服务。
（三）这是一款可以解决在拍摄MR时由于头显设备遮住脸的软件
谷歌机器感知（Google Machine Perception）团队的研究者们已经和Daydream Labs 以及YouTube Spaces一起，共同寻找如何能在制造出一种虚拟的“透视”效果，从而移除头显，让我们能看到其他人脸部的解决方案。我们技术的核心思想是使用用户的脸部3D模型作为被遮挡的脸的代理模型。这个代理模型被用来合成混和现实中的脸。首先，我们使用称为“注视点决定的动态表情（gaze-dependent dynamic appearance）”的技术，来捕捉本人脸部的3D模型。初始的校准需要用户坐在一个彩色深度摄像机以及一个显示器前，用眼睛盯住屏幕上的标记。通常只需要不到一分钟，就可以用这种一次性的校准方法得到用户脸部的3D模型，然后放在数据库中学习。这个数据库将不同注视点和眨眼动作对应到各种表情图片。这个注视点数据库（以注视点作为索引的面部纹理模型）让我们能动态的根据注视点的不同而生成不同的面部表情，进而合成出自然而生动的脸。
作一段混合现实视频需要特制的设备——一台校准过，和头显时间同步的外置摄像机。摄像机拍摄一段VR用户在绿幕前的视频，然后剪下用户的影像合成到虚拟世界中，最终生成混合现实的视频。其中非常重要的一步就是要准确的估计摄像机和头显坐标系统的校准值。这些校准技术通常需要大量的手动调节，并需要很多步骤才能完成。我们在头显前加了一个标记，使用3D图像追踪简化了上述的过程，使我们通过VR设备就可以自动地优化校准值。
相信在通过以上的详细介绍MR拍摄需要的设备与相对应的软件之后，你肯定会对MR拍摄有了一定的了解，如果你有兴趣，去尝试拍一部自己的MR吧！
