Nweon

映维网发布的v31 SDK包含了一个实验性的Passthrough API，允许开发者构建和测试无缝融合真实世界和虚拟世界的应用程序。使用Passthrough API Experimental，开发者可以创建以下新体验：协作、游戏和共临一室的社交临场感。对于这个实验性版本，开发者可以自定义Passthrough透视效果，包括合成、样式和自定义几何体。实验性API将提供给Unity开发者，并在以后支持其他开发平台。该API允许为Quest 2应用构建和测试Passthrough体验。Passthrough API Experimental的正式版本将于今年下半年发布。使用Passthrough API的应用程序无法从Oculus Quest 2传感器访问、查看或存储物理环境的图像或视频。Oculus表示期待开发者们利用Passthrough构建混合现实体验，并将为开发者提供更多的细节、示例代码和文档。

第29条专利描述了一种信息处理装置，该装置的渲染处理部分根据获取的对象信息来执行渲染处理。显示控制部分根据位置信息来控制显示装置的显示，以完成对显示对象的再现处理。 第30条专利描述了一种位置相关信息获取装置。该装置获取关于车辆的相对位置或方向的位置相关信息，并根据该信息生成缺陷图像和车辆图像的组合图像，以便用户可以识别具有缺陷的车载传感器。 第31条专利描述了一种信号生成设备，该设备包括信号生成单元，该单元根据在成像设备中设置的运动检测单元的检测值来生成触觉信号。 第32条专利描述了一种显示控制装置和方法，通过从虚拟空间中的不同视点位置和视线方向生成虚拟空间图像，并在头戴式显示器上显示该虚拟空间图像。用户可以通过操作选择不同的视点位置，并相应地生成虚拟空间图像。 第33条专利描述了一种减少跳转次数来生成增强虚拟现实场景的系统和方法。头戴式显示器通过游戏云系统与游戏互动，并将真实世界媒体和计算机生成的交互媒体叠加在一起，以创造增强的虚拟现实场景。近日，美国专利及商标局公布了一批全新的AR/VR专利。以下是其中一些专利的简要介绍： 1. Magic Leap专利 | 在虚拟、增强或混合现实环境中生成和显示3D视频的方法和系统。 2. Magic Leap专利 | 双镜扫描中继光学。 3. Magic Leap专利 | 利用位置矢量解算半球模糊度的方法和系统。 4. Magic Leap专利 | 用于头部姿态预测的深度预测递归神经网络。 5. Magic Leap专利 | 在压印光刻过程中配置光学层。 6. Magic Leap专利 | 可穿戴设备捕捉面部模型。 7. Magic Leap专利 | 连续键合线光纤扫描仪的方法和系统。 8. Magic Leap专利 | 扫描镜系统和制造方法。 9. Magic Leap专利 | 带微机系统扫描仪的光栅扫描投影仪。 10. Apple专利 | 多向视频流的可扩展性。 这些专利涉及的技术包括生成和显示3D视频、光学系统、头部追踪、光学扫描和眼动追踪等。值得一提的是，这些专利并不代表实际产品的存在，仅仅是技术上的创新和保护。

苹果公司已经提交了一系列专利申请，涉及生成物理环境的2D和3D几何表示的技术。这些技术与苹果的ARKit有关，该技术在早前的WWDC中被介绍并与iPad Pro的激光雷达扫描有关。苹果指出，平面图在设计、理解和重塑室内空间方面发挥着重要作用，可以传达物理环境的几何和语义信息。然而，现有技术存在生成平面图和测量值时的困难，例如传感器数据不完整或缺乏准确性，以及无法实时生成足够准确和有效的平面图和测量。因此，苹果提出了使用传感器数据生成物理环境的3D表示，并通过语义标记生成平面图和测量的技术。该技术涉及语义分割、标记、预览和生成不同格式的平面布置图。专利申请中还描述了使用3D数据和深度和光强度图像信息生成语义三维表示的方法，以及基于物理环境的3D表示生成初步2D平面布置图的实时预览方法。这些技术有助于自动生成精确和有效的楼层平面图和测量值，提升用户体验。

英国初创公司VividQ发布了全息显示的SDK 5.0.1版，通过全新的算法“Triton”和两个可授权的硬件设计，在对比度、降噪和色彩平衡方面取得了重大改进。Triton算法通过降低全息图像中的噪点，提高了背景对比度。此外，VividQ为降噪提供了解决方案，可以创建平滑的全息投影并保持高分辨率和低计算量。对于色彩平衡方面，优化的激光控制可以实现有效的色彩平衡，VividQ提供了一款紧凑的激光平衡硬件解决方案。这些解决方案在微型显示器上契合VividQ SDK的需求，可以帮助厂商利用现成SLMs创建计算机生成的全息图。VividQ的全息显示技术可以应用于AR可穿戴设备和汽车HUD等领域。

美国专利商标局公布了一份名为“Automatic measurements based on object classification”的苹果专利申请。该专利介绍了如何使用LiDAR技术实现精确测量对象的方法。苹果将通过训练算法对不同类型的对象进行分类，例如椅子或电视机。当用户将摄像头对准一个对象时，系统会自动判断对象属于什么类别，并使用训练过的机器学习算法进行精确测量。测量数据会以数字形式叠加在摄像头画面上显示。专利还描述了一些实现方法，包括生成物理环境的3D表示、生成与对象相对应的3D边界框、对对象进行分类并显示测量值等。苹果希望通过训练机器学习模型来提升特定对象的测量精度。用户只需将摄像头对准一个对象，系统就会自动显示所有可能关心的测量细节。该专利申请于2021年1月提交。

根据统计数据，现代人在车内的时间总计达到了4000亿小时。随着自动驾驶技术的发展和普及，这为沉浸式驾乘娱乐带来了巨大机会。最近举行的GDC 2021大会上，专注于提供沉浸式车内娱乐体验的holoride发布了holoride Elastic SDK，允许创作者参与开发全新的驾乘娱乐内容。holoride的系统允许乘客将其应用安装到支持的头显设备上，如Pico Neo 3、Neo 3 Pro或G2，并通过车辆定位软件将虚拟内容与车辆的运动和位置实时同步，从而提供完美同步的沉浸式体验，并减少在汽车中消费视觉内容时的晕车情况。holoride提供的Elastic SDK是基于Unity开发的生态系统，开发者可以通过这个SDK将Elastic Content投影到Unity场景中，实现对真实世界地图和地理信息的创意解读。Elastic SDK提供了一系列功能，包括贴图节点和姿态节点，开发者可以使用这些节点创建响应性强的游戏对象。创作者无需从头学习开发holoride，可以使用常见方式创建预制件，将渲染器、动画、脚本和音频等元素打包到预制件中。详情请访问holoride的Creator Space网站。

来自映维网的报道指出，为了实现紧凑、无缝的增强现实/虚拟现实（AR/VR）光学系统和佩戴舒适的显示系统，Facebook提出了使用液晶偏振全息元件（Liquid-Crystal Polarization Holograms, LCPHs）的方法。LCPHs结合了全息技术和液晶光子学的优点，可以实现轻薄、高效的光学器件。LCPHs可以编程为根据入射光束的偏振、波长和入射角提供不同的光学响应。该技术具有灵活性，可用于各种应用，例如固定光学特性的无源薄膜或可调谐光学响应的有源器件。LCPHs的制造工艺相对简单，可以采用现有的液晶工具和材料。然而，实现LCPHs的量产仍然面临挑战，需要开发高产量制造工艺。Facebook相信LCPHs除了在AR/VR领域，还可以在其他需要紧凑、高质量、可批量生产的光学设备中应用。该技术的简单性和灵活性有助于加快产品开发周期并降低成本。

今年一月，我们宣布影创科技集团成功研发出可量产的二维衍射波导镜片，并简单介绍了衍射光波导技术。然而，今年五月，Snap以5亿+美元收购了AR波导显示厂商WaveOptics，这意味着拥有该技术的公司减少了一家。影创科技集团研发的二维衍射波导镜片采用了二维光栅二维扩瞳方案，具有较大的可视范围，单片厚度仅为0.6mm，透过率超过85%，易于量产。该镜片将成为轻量级增强现实近眼显示器的关键元件，为后续研发的AR眼镜提供多种定制化方案并支持全彩增强现实体验。相较于一维光栅，二维光栅具有优势，包括可视范围的扩大、焦距无穷远、眼动范围的提升以及出瞳距离的增加。综合来看，二维衍射波导镜片在轻薄性、体积重量、加工成本和显示性能等方面具有优势。

Oculus的混合现实视频录制工具Mixed Reality Capture Tools（MRC）可以帮助用户录制和呈现VR游戏画面效果，具有良好的营销效果。为了评估MRC视频在营销中的作用，Oculus进行了AB测试，结果发现MRC视频的购买转化率明显优于第一人称视角游戏（POV）视频，如《OhShape》和《Holopoint》的Quest 2用户的转化率分别提高了30%和25%。 然而，在实时捕捉方面使用MRC存在注意事项，团队建议使用均匀照明的绿幕背景进行拍摄，同时注意避免绿光溢出和反射。对于单独编辑MRC和采集卡层次以及优化画面来吸引观众的建议也被提出。此外，在拍摄过程中安排发型师、化妆师和有绿幕经验的服装设计师可以提高录制的质量。 总的来说，MRC是一种有效的营销工具，为VR游戏提供了更沉浸式的体验。同时，在实时捕捉方面需要注意一些技巧和注意事项来保证录制的质量。

虚幻引擎的开发公司 Epic Games 最近收购了3D模型托管平台 Sketchfab。Sketchfab成立于2012年，是一个允许用户浏览、分享和下载3D模型的平台，至今已拥有超过400万个可通过PC、移动和VR/AR头显访问的3D资源。Sketchfab宣布收购时表示，他们的目标是提高3D、AR和VR内容的易访问性，并发展创作者生态系统，因为这对开放和互联的元宇宙来说至关重要。双方未透露具体的收购细节，但Sketchfab表示未来会保持品牌独立，并与Epic Games密切合作，平台将继续支持包括Unity在内的其他游戏引擎。这次收购可能是Epic在今年4月获得10亿美元融资后，随着元宇宙概念的兴起，开始大力拓展相关领域的一部分。Sketchfab过去与Epic Games合作，并获得了Epic MegaGrant的资金支持，而虚幻引擎也通过插件支持这个3D模型平台。Sketchfab表示，加入Epic将加快其在线工具集的开发，为创作者提供更丰富的体验，同时也能与Epic共同构建元宇宙。