The Voices of VR Podcast

欢迎收听《VR之声》播客

我的名字是Kent Bye，欢迎来到《VR之声》播客。今天的主题是关于现场动作的体积捕捉和表演，这在好莱坞以及希望在VR中创造独立内容的人群中都是一个热议的话题。有很多新的数字光场技术和摄影测量技术，但它们并不一定对独立创作者是可及的。因此，在今天的节目中，我邀请到了Alexander Porter，他是Depthkit的联合创始人。Depthkit本质上使用Kinect结合数字单反相机来捕捉深度信息，然后能够将数字单反相机的纹理投影到网格上。这样你就能实现高分辨率、高色彩的DIY体积捕捉解决方案。最终的目标是能够在虚拟环境中实时进行这种捕捉。

在今天的节目中，我与Alexander讨论了这种DIY体积捕捉方法的演变以及他们在这个过程中发现的一些早期实验和结果。这就是我们今天在《VR之声》播客中要讨论的内容。但是首先，让我们听一段广告词。

赞助商广告

这是由Intel Core I7处理器赞助的广告。VR真的迫使我购买了我的第一台高端游戏PC。因此，Intel邀请我来谈谈我的过程。我的理念是获取所有硬件中的最佳部件，因为我不想在第二代耳机推出后担心更换组件，VR最低配置在未来某个时候必然会提升。我进行了严格的在线研究，查看了所有的基准测试和在线评论，发现最佳的CPU是Intel Core I7处理器。但是不要只听我的话，去做你自己的研究，我认为你会发现i7确实是最好的选择。

这次与Alexander的采访是在2011年7月16日，在Depthkit和Scatter的办公室进行的。所以现在让我们开始吧。

介绍Alexander Porter

我叫Alexander Porter，是Depthkit的联合创始人。同时，我还在一家叫Scatter的公司进行VR实验和项目。我最初的背景是摄影，但后来逐渐演变为现实捕捉和游戏设计，即我们所称的体积捕捉。先从Depthkit的起源谈谈吧。

Depthkit的起源

首先，Depthkit是一个我们自2011年开始开发的体积捕捉工具，我们认为这是一个令人兴奋的方式来捕捉虚拟现实和增强现实中的人物。我最初与James的合作开始了这项工作。他是我提到的两个公司的合作伙伴。我在传统摄影上有过职业生涯，而我经历了一场完全被媒体理论和对现状的挫败感驱动的存在危机。我读过一本叫《朝向摄影哲学》的书，作者是William Flisser，他谈到某种工具可能非常限制你，类似于相机告诉你如何使用它。在那个时候，James和我是朋友，我们在寻找合作的方式。James的背景是艺术和计算机科学，我们在考虑如何将摄影思维与计算机科学结合在一起。这正好是在第一代Kinect推出的时候，我们开始围绕这方面进行实验。我们做了第一个项目，在这个项目中，我们将数字相机与第一代Kinect结合，并配备摩托车电池，然后走下地铁系统。这是我们尝试可视化正在纽约市地铁系统中推出的先进成像系统的方式，部分是因为伦敦袭击事件后的安全担忧。承诺是，这是一种未来派的捕捉技术，允许计算机识别类似可疑包裹的东西并标记给当局。因此，我们当时思考的是，创造性地使用这样的相机会是怎样的体验？因此，结合Kinect和相机就是我们开始处理这个问题的一种方式。

Depthkit如何工作

是的，表述得很好。我们的理念是Kinect源自机器人技术，探讨给定小车在空间中的位置。Kinect逐渐演变成为一种交互设备，但它的优点在于以接近相机的帧率创建网格。因此，核心理念是通过拥抱这个工具的强大，使几何计算实际上发生在硬件上，从而快速地创建几何外形。然后，将其与来自于具有良好镜头和高对比度及色彩的电影摄影机相关联的色彩信息结合使用，你就能克服Kinect或使用的深度传感器的限制。你可以说，在某种隐喻中超越了电影摄像机的限制，因为它不是一个体积捕捉。

大项目与应用案例

那麼有什麼大项目使用過這個技術呢？我们用它来做很多不同的项目。与不同的审美社区接触是一个有趣的时刻，因为人们对审美新奇感到兴趣。我们经历了这些审美社区中的一次奇妙的旅行。我拍摄了我的第一个说唱视频。但最值得注意的是，它被用于一个叫做《云》的互动纪录片项目。有趣的是，这个时期我们围绕制作工具或项目的问题展开了争论，当时我们正在进行众筹，讨论这个众筹是否是为了资金工具、资金工具加项目，还是仅仅为了一个项目。在某种程度上，我在会议室中是反对的，《云》项目因此产生。这是一个更值得注意的早期项目，它是在VR之前构思出来的，然后由于虚拟现实而逐渐成熟。

最近，我们在进行一个叫《黑暗》的项目，这个项目正在进行中，我们扩展了我们的思考，采用多台相机，捕捉300至360度中的人物。结果是，捕捉体积变得相对简单且易于实现。最终的结果是，你拥有的人物就像视频一样，可以放入Unity或Unreal中播放，其捕获的动作被呈现出来。Depthkit的独特之处在于，你获得的几何形状是风格化的，几乎有点故障，低保真、低多边形，甚至略显嘈杂的美学。我认为，保持平衡既不太接近“恐怖谷”，同时又有足够的风格化，而不是太嘈杂或太低保真的美学，这是一种挑战。

关于“恐怖谷”的美学选择

这是我们经常思考的问题。我们认为核心目标不一定是逼真，不同的项目会要求不同的美学。我们迄今为止做的大部分项目，实际上都拥抱了我们所采取的技术美学，这可能是妥协的结果。有些替代方案非常令人兴奋，使用了多台相机和多视角立体等。因此，我们的早期项目就直接拥抱了噪声，承认这是事实。当我们谈论我们的项目或展示它们时，总有个人在后面问：“你为什么不使它完美？”我们回应说：“你为什么不把后面填满？”我们的思路是因为我们现在并不是这样做，因为我们当前的项目实际上与所采用的技术达成了一致，这实际上是一个重要的思考。尤其是对于虚拟现实的早期阶段，必须在某种程度上承认你所使用工具的不同优势，并在一定程度上调整自己的思维以适应这些工具。

现在，我们感到兴奋的是，随着我们将这一工具从艺术实践中延伸给更广泛的人群，他们现在对于虚拟现实非常感兴趣，我们正在扩展这种美学范围。之前，几乎只有数字故障的美学。现在我们也开始朝向“恐怖谷”的方向发展。但同时，我们对创造不同过滤器和效果，以及将这些效果以创造性的方式组合的能力感到兴奋，从而扩展其表现力。人们可以整体上创建与特定光照逻辑和故事逻辑相符的世界，这个世界里的角色可能看起来并不完美，可能是模糊的，或者以不同的方式经过处理，但我们也感受到压力，真正采取行动去消除噪音和尖锐边缘等问题，并且我们在这方面取得了许多成功。

总结与未来展望

我们坚信，我们的工具将使更多无法负担传统体积捕捉的人们参与到这个继续发展的对话中。我们认为，体积捕捉和体积播放是这个对话的重要部分。因此，即使现在它还不完美，我们知道许多人将能够参与其中。关于“恐怖谷”的概念，认为越向真实逼近，您就需要真实的触觉和音效，这在某种程度上开始创造了这种看起来真实但实际上远不那样的感觉。在增强虚拟现实体验的过程中， 我们认为，很多人认为他们想要的是真实性，其实在一定程度上并不是。

对于我而言，虚拟现实的终极潜力在于能够启发社会体验。我认为，最具沉浸感、令人振奋和可怕的体验都是社会性质的。我期待着在现实生活和虚拟现实中都能有这样的体验。

结束语

感谢您收听今天的节目。如果您喜欢这个播客，请分享给你的朋友，并在patreon.com/voicesofvr上支持我们。