The Voices of VR Podcast
介绍
大家好，我是Ken Bai，欢迎收听《Voices of VR》播客。今天的节目将继续关注2022年南方西南（South by Southwest）展会上某些XR体验。今天的访谈对象是Frame Rate，这是ScanLabs的一个艺术项目，位于其它XR体验的主楼层之上。
ScanLabs的工作
ScanLabs专注于激光雷达（lidar）体积时间延迟捕捉，能够在不同时间段内进行扫描，不论是一天之内，还是跨越数天，甚至长达一年的时间。他们每天都会进行体积扫描，然后渲染出二维帧，让我们能够观看这些景观随时间的变化。
这个项目使用不同的时间尺度，展示了地质景观的动态变化，以及机器观察世界的其他方面。我们能够在这些扫描中放置虚拟相机，从多个角度观看相同的场景。想象一下走进一个完全黑暗的房间，四周都是大屏幕，展示着从顶端俯视的不同视角。
我们使用体积捕捉技术，创建出南方西南展上展示的大型扫描时间延迟的艺术展。这一作品被称为Frame Rate，我有机会与ScanLab Projects工作室的导演兼联合创始人Matthew Shaw进行了交谈。这次访谈发生在2022年3月15日，星期二。
访谈开始
因此，让我们直接进入访谈。请您先自我介绍一下，并告诉我您在虚拟现实领域的工作。
自我介绍
是的，我叫Matthew Shaw，和我的联合创始人William Trussell一起经营一个叫ScanLab Projects的工作室。ScanLab对各种空间和体积捕捉形式充满兴趣，尤其是激光雷达扫描。过去12至15年，我们一直在研究激光雷达以及各种机器视觉形式。我们对机器开始以一种空间的、三维的、四维的方式看待世界感到着迷，但同时也有些害怕，因为这些机器通过激光雷达镜头看待世界，做出决策，而人类并未参与这个决策过程。
在VR领域的背景
我们希望ScanLab能够将机器看到的世界重新带入一个人类能够再体验到的美好环境中。我们使用我们所创造的视觉和我们创造的环境讲述故事，试图在未来的某种情况下发光。
对话的深入
您能否给我提供更多关于您自己背景的信息，以及您进入这个领域的经历？
我和Will都学习过建筑学。我们最初接触3D扫描是为了数字化现实世界，从而对其进行更好的干预。然而，当我们第一次看到这些机器吐出的数据时，不仅准确，而且美丽。这些数据具有一种奇怪的特质，既是摄影，也是真实。这些东西来自现实世界，而确实是真实的；同时它又稍微带有CGI的特征，让你能够暂时悬置不信任。
Frame Rate的展示
在南方西南展上，您展示了激光雷达扫描经过时间的变化，显然具有时间延迟的特质。根据我所看到的，似乎是从一个视角进行激光雷达扫描，然后从多个二维相机渲染成二维平面，您在房间中的电视屏幕上看到多个视角，这样理解对吗？
是的，完全正确。我们谈论扫描时，把它视为摄影的一种演进。在扫描中，您有两次构图的时刻，而不是一次。我们首次进行的决定是将设备放在世界中的位置，这一决策至关重要，因为它决定了我们将要创造的世界及扫瞄仪器投射出的阴影。
我们收集数据后，会进行第二次构图。我们将虚拟相机放入该环境中，并可以从中渲染出场景。因此，在您刚刚看到的Frame Rate作品中，我们实际上是向您展示同一场景的一系列同时视角。
关于VR体验
作为一名VR记者，我首先的反应是，我想在VR中沉浸体验这个项目。您是否可以将一些激光雷达扫描动画展示为沉浸式的VR体验？
是的，ScanLab的一个重要点是，我们已经玩转了这种技术超过12年。而且我们发现，早期的现有工具显得相对不足。因此，除了进行创造性的探索外，我们还在构建自己的软件，以便管理这些庞大的数据集。
技术堆栈
您能和我聊一聊您使用的技术堆栈吗？从您使用的激光雷达扫描仪开始，那是市场上商业的现成产品，还是您在ScanLab内部开发的设备？
对我们来说，我们使用的传感器范围很广。从Kinect和RealSense等设备获取实时运动数据，直到新款iPhone上的激光雷达传感器，也得到了很美丽的实验数据。我们的工作，尤其是您刚刚看到的Frame Rate项目，使用的是地面激光扫描仪。这些设备通常用于测量行业，每秒发射数百万次激光脉冲。它们创建的模型，有些包含4,000万点，有些甚至包含超过7亿点。
软件开发
在软件方面，您开发了哪些其他内容？您是将其商品化销售，还是作为服务使用？还是说，您作为一个艺术家，创造了自己的工具集，满足自己的工作流？
我们目前绝对不是一家销售软件的公司。对我们来说，软件的开发源于我们在创意应用中的需求。ScanLab的三个方面包括构建内部工具、与各类专业人士进行联合创作，以及我们自己的作品。有时这些作品表现为VR或XR项目，有时则表现为艺术作品。
视觉效果
在Frame Rate中，有一些黑白的扫描，还有其他一些带色彩的扫描。您所提到的彩色数据是由于您进去手动添加了颜色，还是通过某种方式提取这些场景的纹理？
是的，您说得对，Frame Rate中的两种不同美学。黑白的部分实际上对于我来说是较纯粹的部分，因为我们不在传统的灰度光谱上操作，而是基于反射率。在这个特定作品中，激光脉冲以红外光的形式发射出去，不同材料以不同的方式反射这些激光。因此，在数据中反映出一种美丽的反射率质量，并在灰度光谱中显现出来。
长时间延迟的潜力
关于这项技术，您能否描述一下在时间延滞展示中的潜力？我觉得能够直观上感受到某些我们无法察觉的慢变化过程是非常深刻的体验。
这一作品呈现了两种不同的时间尺度。一些高频扫描场景，类似于牛群和酒吧场景，每5分钟扫描一次，持续10小时到24小时。但实际上大部分的作品是随着时间而每日扫描的，持续了一整年。举例说，海滩的扫描是每一天进行的，每天您所看到的可视化展示了潮水如何在海滩上来回涌动，沉积物如何移动，悬崖如何侵蚀。
观众纷纷表示，他们看到的东西是传统延迟摄影无法展现的。与其说在固定镜头下做时间延迟，不如说我们的过程允许相机在未来的任意位置，让你从独特的视角观察世界的演变。
未来的计划
您对ScanLab的未来有什么规划？
对于Frame Rate来说，我希望更多的是让人们思考在世界中的位置以及不同的时间尺度，比如季节性时间、潮汐时间、地质时间。最终希望让人们反思与地球的关系。Frame Rate也是一种预测，我们相信，地球会以这种细致的程度被记录下来。这些空间记录将会被自动驾驶车辆、我们随身携带的手机不断更新。
结尾语
非常感谢您今天加入我的播客，看到不同的时间表现形式以及机器的视角真是令人激动。我期待看到未来技术的发展以及艺术表现。