首批商用视频会议系统诞生于50多年前，其目标是通过远程通信技术实现与他人沉浸式互动。虽然最新的3D视频会议技术能够捕捉眼神交流和其他非语言线索，但目前的系统需要昂贵的3D采集设备。因此，英伟达、加利福尼亚大学圣迭戈分校和北卡罗来纳大学教堂山分校合作，通过AI人工智能的方法开发了一种高保真低成本的3D远程呈现方法。这种方法能够提供基于3D扫描无法提供的新功能，并支持多种现有的3D显示器。此外，谷歌也在利用AI优化其光场通话项目Project Starline，该项目结合了光场技术、硬件和软件的进步，旨在提升远程通信的真实感。在英伟达团队的项目中，他们通过AI实时推断和渲染真实的3D表示，实现了实时的3D自我影像和头部追踪视图。研究人员还通过Vision Transformer提出了一种新的编码器，将2D输入转换为有效的三平面隐式3D表示，并使用最先进的神经方法实现眼神交流。团队的系统支持立体显示器和光场显示器，通过多种实验展示了其效果。团队利用NVIDIA TensorRT优化了编码器的性能，并在NVIDIA A6000 GPU上进行实时推理，实现了端到端的快速运行。

XR头显厂商Varjo宣布与XR飞行模拟器开发商Vertex Solutions合作，为后者的旋转翼和固定翼XR飞行模拟解决方案提供XR技术支持。结合Vertex Solutions与美国国防部的合作，美国空军将配备Varjo Aero和XR-3 Focal Edition头显的Vertex Solutions训练装置进行旋转翼XR飞行员培训。之前，美国空军通过武器系统教练机和作战飞行教练机训练飞行员，但成本高、视觉效果过时。采用Vertex Solutions的Multi-Place Mixed Reality Flight Simulator飞行模拟器，美国空军可节省300万美元，并几乎没有额外的基础设施成本。Vertex Solutions的解决方案适合办公空间，由标准的110VAC供电，无需额外供暖与通风，甚至能将训练时间减少30-70%。Multi-Place Mixed Reality Flight Simulator飞行模拟器原型机已通过用户体验验证，将于2024年初投入使用。Varjo表示与Vertex Solutions合作改进美国空军的飞行模拟器，混合现实解决方案是飞行员培训的未来。

麻省理工学院的研究人员开发了一种名为BrightMarker的隐形荧光标签，可以隐藏在3D打印物体中。他们通过这种方式将物理对象与数字对象无缝连接，精确映射物理对象到数字对象。研究人员认为这一系统可以优化运动追踪、虚拟现实和目标检测等应用。他们指出，在由增强现实（AR）和虚拟现实（VR）主导的未来，对象识别、追踪和可追溯性对于连接物理世界和数字世界至关重要，而BrightMarker只是开始，标志着这一旅程的开端。团队表示，他们的系统在虚拟现实环境中显示出潜力，可以实现更身临其境的体验。此外，BrightMarker还可以应用于运动追踪和可穿戴设备中，以精确追踪肢体动作。与红外线标签相比，荧光标签具有更好的隔离和追踪性能。不过，系统仍存在一些限制，例如被遮挡以及摄像头视线受阻的情况。团队建议将该技术与磁性技术结合，以解决这些问题。

AR头显可以使用具有多路光栅的波导，从投影仪传播光线到视窗。然而，来自投影仪或显示系统的杂散光可能会产生视觉伪影，例如拖影。为了解决这个问题，Meta介绍了一种减少拖影的显示系统的专利。在该实施例中，显示系统包括透镜组件和波导，波导包括多个光栅，光线可以依次通过这些光栅传播。其中至少一个光栅可以定向，以减少拖影存在。另外，多个光栅可以与基于体布拉格光栅（VBG）的波导显示设备相关联。波导的层次结构可以由衬底和光聚合物层组成，光聚合物层中的体布拉格光栅可以通过产生干涉图案来实现。通过定向光栅的方向以及调整光栅的色散，可以减少拖影的出现。此外，波导结构的光栅排列和光栅矢量的设计可以在保持视场和光谱的覆盖的情况下减少拖影效应。该专利申请由Meta于2022年提交，并于最近公布。

苹果Vision Pro Meta Quest 3和PICO 4等XR头显已经成为视频透视功能的标配。微软也在探索视频透视计算系统，并在名为“Video pass-through computing system”的专利申请中介绍了一种视频透视计算系统。 微软指出，现有的视频传输计算系统存在视频捕获和AR视频流显示之间的高延迟问题。其解决方案是在硬件中直接执行摄像头图像的像素流处理，以产生处理过的图像像素流。然后，将虚拟图像像素流与处理过的图像像素流合成，生成合成显示图像像素流，包含透视内容和虚拟内容。AR控制电路可以通过反馈将透视内容与虚拟内容在时间上同步，以提高用户的AR体验。 通过在子帧级别执行图像信号处理，可以减少视频透视计算系统的延迟。此外，可以通过调整曝光定时来实现摄像头图像和虚拟图像之间的时间同步。 该系统可以提供低延迟的视频透视图像，并保持摄像头和虚拟图像之间的时间同步。

“VR播客之声”是一档关于沉浸式叙事和空间计算未来的播客节目。该节目通过使用沉浸式叙事和媒体，将过去的故事与现在和未来联系起来，探索黑人、少数族裔和被忽视历史的增强现实档案馆。他们创造了不同的沉浸式体验，并通过应用程序让用户在自己的环境中体验这些故事。他们主张庆祝社区，以及将历史的故事向前推进的方式。该应用程序通过增加背景信息、音频描述和相关文本，提供了更广泛的历史上下文，并提供参与感和动态性。他们希望通过使用增强现实等新媒体形式，培养创造力和想象力，推动社会变革，并为历史故事找到一个平台。他们在访谈中提到了一些纽约市地区的纪念碑，并讨论了如何通过添加背景和增加互动性，使这些纪念碑充满活力和意义。他们还探讨了将来将添加更多纪念碑和建立社区参与的计划。嘿，这是一份关于增强现实（XR）的访谈摘要。在这次访谈中，来自Kinfolk Black Lens的Idris Brewster谈到了他们通过创建数字纪念碑来展示黑人历史和文化的项目。他强调了创造故事和想象力对于文化表达和社会变革的重要性，并强调了创造性创作作为普遍语言的力量。他还谈到了非洲未来主义对于激发想象力和创建可能的未来的重要性。Brewster还强调了沉浸式叙事和空间计算对于创造共鸣和拓展人际连接的力量。他提到了Kinfolk的项目如何将文字信息转化为更具沉浸感和互动性的体验，并尝试通过增强现实来纪念黑人历史人物和讲述他们的故事。最后，他对未来的发展充满期待，特别是在技术和非洲未来主义方面的探索，以及使用黑人想象力的推测性故事。

《Voices of VR播客》是一档探讨沉浸式叙事和特殊计算未来潜力的播客。在今天的节目中，主持人采访了《Colored》项目的作者、演员以及联合导演，他们分享了这部作品的背景和创作过程。《Colored》是一部混合现实作品，通过虚拟和现实元素的组合，探索了一个被历史遗忘的人物克劳德特·科尔文的故事。该作品通过增强现实技术创造了一个统一的空间环境，让观众能够与其他人一起体验故事。访谈中还提到了该作品中的各种元素，如全息图像、触觉、音效和灯光设计，以及如何将历史档案和真实片段与叙事结合，创造出一个感人且具有沉浸感的作品。中期在法国首映，后来在纽约的Tribeca沉浸体验展上展出。总的来说，该作品展示了增强现实叙事的创新和潜力，为观众提供了深入的故事体验。

这些作品不仅代表了台湾在沉浸式叙事和XR技术方面的创新力，也展示了该行业在全球范围内的激动人心的潜力。通过结合虚拟现实和增强现实技术，人们可以获得更加身临其境的体验，同时保持直接的人际联系。从舞台剧到360度视频，从个人沉浸体验到与观众的互动，台湾的艺术家和制作团队正在不断探索以不同的方式讲述故事。在这个沉浸式的未来中，观众可以进一步体验美学、情感和叙事的可能性。目前，我们只是看到了这个行业的冰山一角，随着技术的不断发展和创新，我们可以期待更多令人叹为观止的作品和体验。台湾的艺术家和技术专家正致力于打破传统的艺术边界，为观众带来前所未有的沉浸式体验。台湾的Riverbed剧院通过资金和支持实现了这个模型，并希望其他国家能采用相同的模型。不仅电影制作人，还有戏剧艺术家、视觉艺术家、诗人和音乐家等各类艺术家都可以在这个协作的虚拟现实体验中找到空间，超越单一媒介的独特之处。这个中间体类别的探索推动了虚拟现实媒介的发展。这个剧院的艺术总监兼爱草大学教授克雷格·康特罗的作品试图以更强调表演的方式探索虚拟现实的媒介，并试图真正地存在于当下，观察当下发生的事情。他的作品试图通过象征和原型形象改变观众的体验，将他们带到意料之外的地方，探索虚拟现实下模拟和身临其境叙事的潜力。这种探索的规模试图深入探索敬畏和惊叹，将不同的元素并置，产生新奇、令人惊讶和意外的结果。

《Voices of VR Podcast》是一档探讨沉浸式叙事和空间计算未来的播客。在这一系列中，他们介绍了一部名为《重构：第二卷 马哈尔》的作品，该作品是用Quill制作的一个菲律宾神话故事。在这个作品中，角色的发展和设计非常精细，动画风格也独特。该作品运用了创新的摄影手法和媒介特性，推动了沉浸式叙事的语法和语言。制作团队通过实时协作，以及反复讨论和改进故事和镜头，创造了一个温暖、感人的作品。作品中涉及的颜色、尺寸感知和动态镜头运动等技术也非常成功地与故事内容相融合。创作者通过精心设计的角色和环境，让观众在VR中体验到了旅程和冒险的感觉。他们希望通过展示而不是告诉，让观众进入故事世界，开启沉浸式叙事的无限可能性。“重新构想”系列的创作者之一，朱莉·卡瓦利耶（Julie Cavalier），认为将传统电影和剧院的概念和技术融入虚拟现实（VR）媒体中是一种很聪明的选择。他们希望通过这种媒体转化来创造流动性，同时保持故事本身的重要性，并在VR社区中探索不同的可能性。他们正在制作“重新构想”系列的第三部作品，并计划将IP扩展到其他媒体形式，如2D电影或漫画。他们对未来的探索充满兴趣，希望通过包容性的角度讲述一些未被发掘的故事，并丰富和挑战主题。卡瓦利耶还提到了“重新构想：第2卷”中角色的缺乏主动性的问题，他们希望在重新讲述这些故事时能够注重这一点。总之，他们非常珍惜这个创作的机会，并希望能够继续探索沉浸式叙事的可能性。

在这期《声音的虚拟现实播客》中，肯特·拜采访了Tribeca游戏部分的策展人凯西·鲍尔特斯，探讨了Tribeca互动展和Tribeca游戏中的不同体验系列。凯西解释了她在策展过程中的选择原则和考虑因素，并详细讨论了七个不同游戏的体验。其中包括《夜景》、《高地之歌》、《沉默宇宙系列》、《Stray Gods》、《Goodbye Volcano High》、《Despolote》和《Sinar机会》。这些游戏展示了不同的互动和叙事方式，涉及到分支角色、歌曲选择、解密语言等机制。评委特别提到了《Goodbye Volcano High》的叙述和情感感染力，以及《Sinar机会》创造的语言解谜机制。此外，他们还讨论了沉浸式叙事和视频游戏的交互性和潜力，并强调了互动体验对于加强玩家关系和交流的重要性。整个Tribeca Immersive展览提供了13种不同的体验，其中7种是游戏。