微软专利探索提升HoloLens 2协作远程用户的沉浸式体验
微软提出了一种使用表面重建网格和实时视频叠加显示的混合现实环境方法。该方法适用于远程混合现实设备用户,让他们能够通过结合3D表面重建网格数据和实时视频数据来查看本地混合现实设备的环境。远程用户可以在沉浸式的第一人称视角下体验,并通过语音和图像叠加等方式进行协作支持。这种方法可以应用于医疗、教学和维修等场景,提高远程用户的沉浸感,并改善协作体验。在这种方法中,本地混合现实设备捕获环境的光学数据,并生成3D空间的表面重建网格数据。同时,本地环境的实时视频数据通过叠加在生成的3D空间上,实现远程用户在相同环境中的完全沉浸体验。此外,实时视频数据与3D表面重建网格密切贴合,而不仅仅是显示二维视频。该专利申请在2022年2月提交,并最近由美国专利商标局公布。