Nweon

Reallusion最近发布了更新版的iClone Omniverse Connector，该软件与英伟达Omniverse的OpenUSD支持相结合，可为任何类型的项目创建虚拟数字人。iClone Omniverse Connector是一款实时3D动画软件，为用户提供完整的动画创建系统功能。它简化了面部混合变形动画、rigging、摄像机、照明和场景等设置，并可将所有内容导出到Omniverse。新版本带来了实时同步和OpenUSD的增强导入功能，修复了一些Bug。通过全新的双向实时同步功能，用户可以无缝地在iClone和Omniverse之间进行项目同步。此外，用户还可以从Omniverse直接导入静态网格、摄像机和照明到iClone，并利用过滤器来提高导入资产的效率。艺术家Solomon Jagwe和Benjamin Sokomba Dazhi都赞赏iClone Omniverse Connector的功能，Solomon Jagwe表示此软件使他能够在Omniverse中渲染他的iClone动画，并充分利用iClone和Omniverse的优势，而Benjamin Sokomba Dazhi表示该软件极大地优化了他的工作流程。

根据诺基亚发布的一份名为《The metaverse at work》的报告，调查了美国、巴西、英国、德国、日本和韩国四个关键行业的860名商业领袖对于元宇宙的看法和应用情况。调查结果包括：相比于规划阶段的企业，早期采用虚拟现实的企业更经常报告收益增加和可持续性能力增强。只有2%的受访者认为元宇宙是炒作热词。80%的早期采用者表示工业元宇宙将产生重大甚至变革性的影响。美国和英国在实际经验方面处于领先地位，而亚太地区稍微落后。调查还显示，受访者认为云计算、人工智能/机器学习和网络连接是最重要的关键技术推动因素。诺基亚贝尔实验室解决方案研究部总裁强调，工业元宇宙才有可能提供最切实和最具变革性的结果。报告还提到工业元宇宙可以实现业务关键目标，提升可持续性、生产力和安全性，并利用网络的指数级潜力赋能元宇宙。网络连接被认为是元宇宙用例最重要的技术支持因素之一。为了实现工业元宇宙的创新，需要开发和部署未来的网络，满足日益增长的需求。网络的指数潜力将是工业元宇宙的驱动力。

首批商用视频会议系统诞生于50多年前，其目标是通过远程通信技术实现与他人沉浸式互动。虽然最新的3D视频会议技术能够捕捉眼神交流和其他非语言线索，但目前的系统需要昂贵的3D采集设备。因此，英伟达、加利福尼亚大学圣迭戈分校和北卡罗来纳大学教堂山分校合作，通过AI人工智能的方法开发了一种高保真低成本的3D远程呈现方法。这种方法能够提供基于3D扫描无法提供的新功能，并支持多种现有的3D显示器。此外，谷歌也在利用AI优化其光场通话项目Project Starline，该项目结合了光场技术、硬件和软件的进步，旨在提升远程通信的真实感。在英伟达团队的项目中，他们通过AI实时推断和渲染真实的3D表示，实现了实时的3D自我影像和头部追踪视图。研究人员还通过Vision Transformer提出了一种新的编码器，将2D输入转换为有效的三平面隐式3D表示，并使用最先进的神经方法实现眼神交流。团队的系统支持立体显示器和光场显示器，通过多种实验展示了其效果。团队利用NVIDIA TensorRT优化了编码器的性能，并在NVIDIA A6000 GPU上进行实时推理，实现了端到端的快速运行。

XR头显厂商Varjo宣布与XR飞行模拟器开发商Vertex Solutions合作，为后者的旋转翼和固定翼XR飞行模拟解决方案提供XR技术支持。结合Vertex Solutions与美国国防部的合作，美国空军将配备Varjo Aero和XR-3 Focal Edition头显的Vertex Solutions训练装置进行旋转翼XR飞行员培训。之前，美国空军通过武器系统教练机和作战飞行教练机训练飞行员，但成本高、视觉效果过时。采用Vertex Solutions的Multi-Place Mixed Reality Flight Simulator飞行模拟器，美国空军可节省300万美元，并几乎没有额外的基础设施成本。Vertex Solutions的解决方案适合办公空间，由标准的110VAC供电，无需额外供暖与通风，甚至能将训练时间减少30-70%。Multi-Place Mixed Reality Flight Simulator飞行模拟器原型机已通过用户体验验证，将于2024年初投入使用。Varjo表示与Vertex Solutions合作改进美国空军的飞行模拟器，混合现实解决方案是飞行员培训的未来。

麻省理工学院的研究人员开发了一种名为BrightMarker的隐形荧光标签，可以隐藏在3D打印物体中。他们通过这种方式将物理对象与数字对象无缝连接，精确映射物理对象到数字对象。研究人员认为这一系统可以优化运动追踪、虚拟现实和目标检测等应用。他们指出，在由增强现实（AR）和虚拟现实（VR）主导的未来，对象识别、追踪和可追溯性对于连接物理世界和数字世界至关重要，而BrightMarker只是开始，标志着这一旅程的开端。团队表示，他们的系统在虚拟现实环境中显示出潜力，可以实现更身临其境的体验。此外，BrightMarker还可以应用于运动追踪和可穿戴设备中，以精确追踪肢体动作。与红外线标签相比，荧光标签具有更好的隔离和追踪性能。不过，系统仍存在一些限制，例如被遮挡以及摄像头视线受阻的情况。团队建议将该技术与磁性技术结合，以解决这些问题。

AR头显可以使用具有多路光栅的波导，从投影仪传播光线到视窗。然而，来自投影仪或显示系统的杂散光可能会产生视觉伪影，例如拖影。为了解决这个问题，Meta介绍了一种减少拖影的显示系统的专利。在该实施例中，显示系统包括透镜组件和波导，波导包括多个光栅，光线可以依次通过这些光栅传播。其中至少一个光栅可以定向，以减少拖影存在。另外，多个光栅可以与基于体布拉格光栅（VBG）的波导显示设备相关联。波导的层次结构可以由衬底和光聚合物层组成，光聚合物层中的体布拉格光栅可以通过产生干涉图案来实现。通过定向光栅的方向以及调整光栅的色散，可以减少拖影的出现。此外，波导结构的光栅排列和光栅矢量的设计可以在保持视场和光谱的覆盖的情况下减少拖影效应。该专利申请由Meta于2022年提交，并于最近公布。

苹果Vision Pro Meta Quest 3和PICO 4等XR头显已经成为视频透视功能的标配。微软也在探索视频透视计算系统，并在名为“Video pass-through computing system”的专利申请中介绍了一种视频透视计算系统。 微软指出，现有的视频传输计算系统存在视频捕获和AR视频流显示之间的高延迟问题。其解决方案是在硬件中直接执行摄像头图像的像素流处理，以产生处理过的图像像素流。然后，将虚拟图像像素流与处理过的图像像素流合成，生成合成显示图像像素流，包含透视内容和虚拟内容。AR控制电路可以通过反馈将透视内容与虚拟内容在时间上同步，以提高用户的AR体验。 通过在子帧级别执行图像信号处理，可以减少视频透视计算系统的延迟。此外，可以通过调整曝光定时来实现摄像头图像和虚拟图像之间的时间同步。 该系统可以提供低延迟的视频透视图像，并保持摄像头和虚拟图像之间的时间同步。

谷歌提交了一项名为“集成视力校正与增强现实显示”的专利申请。该专利描述了一种将视力校正集成到AR显示器中的方法。该方法涉及使用处理器接收用户光学视力校正的评估信息，并生成用于透镜结构的透镜规格。透镜规格包括多个透镜层，分配给其中一个或多个透镜层的多焦校正（MFC）组件。此外，还生成了与MFC透镜层相邻的眼侧（ES）透镜层和世界侧（WS）透镜层的参数。透镜规格用于生产集成视力校正的透镜结构。根据评估结果，可以通过修改分配给ES透镜层或WS透镜层的MFC组件来调整透镜结构。此外，透镜规格还可以根据用户的视力校正需求，在透镜结构中添加或调整其他组件。该专利提供了几个示例框图来说明透镜结构的不同配置。这个专利的目的是在AR眼镜的显示中集成视力校正，以便用户可以清晰地看到相关的数字和物理影像。

AR头显利用透明波导将图像从图像源传输到用户眼睛。为了扩大显示图像的视场，可以通过波导内的光栅多次复制显示图像的视场。然而，这样的复制会导致未被看到的光浪费能量。微软在专利申请中介绍了一种动态控制波导视窗的方法。该方法通过与耦出器相关的波导来实现，耦出器的区域可以根据眼动追踪和图像数据动态激活或停用，从而实现小而可移动的视窗，并提高光效率。同时，减小视窗尺寸和耦出器的分割可以改善图像质量。通过动态调整视窗位置，投影图像的视场可以控制地输出到较小、动态移动的视窗，从而减少未观察到的光并节省能量。控制器可以根据眼动追踪系统确定的眼睛位置定位视窗。此外，可以使用可控光栅等技术来实现动态可控耦出元件。这一技术可以提高AR头显的光效率和用户体验。

美国Meta公司已经提交了一项名为“Rendering workload management for extended reality”的专利申请，涉及用于XR设备的渲染负载管理技术。该技术旨在减少设备渲染负载时的处理能力、功耗和热影响。具体实施例中，设备的计算系统可以为每个虚拟内容确定相关特征，然后根据预定的处理能力、功耗和热约束来决定是否减少渲染工作负载。实施例中涉及的技术组件包括头部姿态追踪功能块、渲染引擎、3D重新投影扭曲功能块、资源管理器、内容管理器和应用程序等。通过集中式内容和资源管理器，可以根据预测的渲染持续时间选择适当的渲染工作负载模式，并利用计算设备中的GPU来进行渲染。该技术可以实现设备的能效优化，降低功耗和热影响，并且可以根据实时渲染工作负载和性能容量进行动态管理。该专利申请于2022年1月提交，并于近期由美国专利商标局公布。