麻省理工研究员探索将环境表面反射光转化为计算机视觉相机
麻省理工学院和莱斯大学的计算机视觉研究人员开发了一种利用反射产生真实环境图像的方法,称为ORCa。通过将物体转化为“相机”,它们利用物体表面作为数字传感器,记录周围环境的反射光,从而获取周围遮挡部分的深度和语义线索。该研究旨在将物体与其反射分离开来,让物体可以像相机一样“看到”世界,并记录下周围的环境。研究人员将物体表面建模为虚拟传感器,收集周围环境辐射场的2D投影,以创建物体所看到的世界的3D表示。他们还展示了如何利用周围环境的光场来产生人眼不可见的新视点。通过使用ORCa,用户可以在所选择的区域放置虚拟相机,并生成合成图像。这项研究为虚拟物品插入和3D感知提供了新的可能性,例如通过从相机视场外推断信息来改变物品的外观或在场景中加入虚拟物品。相关论文名为《ORCa: Glossy Objects as Radiance Field Cameras》。