机器之心报导
机器之心编辑部
影视作品里许多特效场景都需求凭借绿幕完结，在技能不过硬的时分，常会发作「五毛特效」的惨案。来自谷歌的研讨者发明晰一种 Bling Bling 的「LED 蛋」3D 人体捕获设备：先把扮演者请进「蛋」里一阵猛拍，然后进行重建和烘托，就能恣意切换人物所在的环境，连光照、暗影都可以精确的经过环境做调整，几乎完美。
「灯火」在影视作品、游戏和虚拟环境中的作用至关重要——有时分它是决议一个场景扮演质量的要害，这个很简单了解。比方某些古装剧的某些场景会让人十分出戏，除了艺人的演技太差之外，有很大的可能性是因为光效不太天然，盯着电视机屏幕时，你甚至能幻想出来艺人头顶的摄影棚。
在影视制作过程中，想要仿制完美的光效仍然是个难题。跟着计算机视觉技能的演进，计算机现已可以比较「天然」地复原人脸形状、皮肤纹路，但是在模仿灯火条件这一块仍是缺少写实感。
谷歌这个全新的体系可以完美复原人物周围的光影作用，使得组成的印象看起来愈加传神。经过与 AR 等技能的交融，该体系可以无缝地将捕捉到的人体交融到实践国际中或电影、游戏等中的数字场景。它可能会完全革新 3D 捕获技能领域。
用来拍照的「LED 蛋」。
人在「LED 蛋」中完结各种动作。
这个「LED 蛋」实践上名为 Relightables，它可以捕捉人身上的反射信息，即光线与皮肤的交互，这是数字 3D 人物看起来是否传神的要害。之前的研讨要么运用平面照明，要么需求计算机生成人物。谷歌的体系不仅能捕捉人身上的反射信息，还能记载人在 3D 环境中自在移动时的信息。因而，该体系可以在恣意环境中从头调整人物的光照。
图 1：Relightables 体系，这个体积捕获设置将传统的计算机视觉流程与深度学习的最新进展相结合，可以在恣意环境中重现高质量模型。
论文地址：https://dl.acm.org/citation.cfm?id=3356571
在之前的研讨中，相机只从单一的视角和光照条件下记载人体。但谷歌的体系可以让用户在恣意视角和条件下检查被记载的人，不需求绿幕来创立特效，能轻松完成愈加灵敏的照明条件。
在 11 月 17 日-20 日于澳大利亚举办的 ACM SIGGRAPH 亚洲展览会上，谷歌揭露展现了 Relightables 体系。
Relightables 体系
谷歌的 Relightables 体系作业流程可分为三个部分：捕捉、重建和烘托。首要，研讨者规划了一个全新的自动深度传感器，用来捕捉 12.4MP 的深度图。然后，他们展现了怎么规划一个混合几许和机器学习重建流程来处理高分辨率输入并输出一个体积视频。接下来，他们利用在 60Hz 频率下取得的两种替换色彩梯度照明图画中的信息，为动态扮演者生成时刻上共同的光照图画。
整体流程如下：
图 8：Relightables 流程（榜首部分）。首要，原始图画将用于重建高质量 3D 模型。
图 9：Relightables 流程（第 2 部分）。对该网格进行下采样，随时刻推移盯梢并进行参数化。
图 10：Relightables 流程（第 3 部分）。最终，由两个梯度照明条件推断出反射率图。
捕捉
该体系的中心依赖于一个包含多视角（自动）立体深度传感器的灯火球面舞台，舞台周围有 331 个可编程的灯以及 90 个高分辨率 12.4MP 重建相机。
捕捉人体所用的相机包含 32 个红外（IR）相机和 58 个 RGB 相机。红外传感器供给精确、可信赖的 3D 数据，RGB 相机捕捉高质量几许法线贴图和纹路。这些相机以 60Hz 的频率记载原始视频，研讨者根据球面梯度照明替换运用两种不同的照明条件。
用于捕捉人体的相机如下所示：
图 3：自动深度传感器组件。
捕捉 600 帧（10 秒）的图画可以生成 650GB 的数据。关于每个部分，研讨者还记载了一个几许校对序列和一个 50 帧的 clean-plate 序列（即没有人的舞台）。后者用于在实践扮演过程中切割扮演者。
重建
接下来，研讨者将数据上传到公共存储库中，榜首个阶段是生成每个「机位」的深度图、切割图和 3D 网格 [Kazhdan 和 Hoppe 2013]。
他们用一个对齐算法来处理重建网格的序列，如此一来，长的子序列就可以同享常见的三角定位（triangulation）。研讨者提出了一种新的办法来处理要害帧的挑选问题，将其转变为一个 MRF 推理问题来处理。每个共同的三角定位都被参数化为一般的 2D 纹路空间，该空间可以和一切同享该三角定位的帧同享。
烘托
每个网格都有两个可用的梯度球形照明图画，从中可以生成反照率、法线、光泽度和环境光遮挡图。这些图与规范烘托引擎兼容，可用在任何设定的光线条件下从头生成烘托图画。
体系各模块究竟怎么样？
整个体系是十分复杂的一个处理流程，研讨者在论文中剖析了体系的首要模块，然后验证提出的办法。这些模块评价包含深度猜测、图画切割、最优网格追寻、UV 参数化、纹路对齐等等，这一部分只扼要展现几大模块的作用，更多的评价作用可参阅原论文。
关于深度估量模块，图画展现了 SAD 和 VGG 在根据 RGB 图画做立体匹配的作用。咱们我们可以看到论文选用的 VGG 要供给愈加滑润的成果。
研讨者表明，从立体视角中抽取深度图画特征很重要，他们表明虽然 VGG 这类深度模型十分强壮，但它在牛仔裤等少纹路的区域作用仍是不够好。关于切割模块，研讨者运用深度学习将先验常识都嵌入到 CRF 中，包含远景与布景的色彩和深度信息。
研讨者的立体切割可以标示手上的篮球，这在单图画切割是做不到的。
纹路对齐大大改进了快速切向运动时的烘托作用。
比较 Collet 等人最佳的体积重建模型，研讨者重实践现了许多模块。如下所示为研讨者提出的切割办法与 Collet 等人办法的比照。其间研讨者的办法能生成高质量的成果，而 Collet 也能生成十分令人满意的纹路网格，只不过 Collet 缺失了高频细节。
图 19：研讨者的重构成果与 Collet 办法的比照，因为更高的分辨率、深度相机和光度立体法估量，研讨者的办法展现了更多的几许细节。
参阅链接：https://techxplore.com/news/2019-11-google-captures-character-virtually-environment.html
第三届机器之心「Synced Machine Intelligence Awards」年度奖项评选正在进行中。本次评选设置六大奖项，侧重重视人工智能公司的产品、使用事例和工业落地状况，根据实在客观的工业体现筛选出最值得重视的企业，为职业带来实践的参阅价值。
参选报名日期：2019 年 10 月 23 日~2019 年 12 月 15 日
评定期：2019 年 12 月 16 日~2019 年 12 月 31 日
奖项发布：2020 年 1 月
