微软AR/VR专利分享修复具有光吸收表面的对象的图像深度值
XR系统使用深度图像来显示或重建三维环境。深度图像捕获设备可以使用红外(IR)技术或其他基于光的技术来确定场景中的深度并创建深度图。然而,飞行时间(ToF)深度传感器在检测光吸收表面的对象时可能存在问题,导致深度图像中缺失或损坏的深度值。微软提出了一种修复具有吸收光表面的对象图像深度值的方法,通过使用彩色图像和可访问的三维模型来修复深度图像。该方法包括使用图像捕获设备捕获颜色图像和深度图像,检测对象并预测彩色图像中对象的二维点,计算对象在彩色图像和深度图像中的三维位姿,然后修复深度图像中与对象相关的像素的深度值。这种修复方法可以生成改进的RGB-Depth图像,提高深度图像的准确性和完整性。