Snap AR/VR专利提出一种在二维图像域实时检测场景变化的系统
Snap在一项名为“Scene change detection with novel view synthesis”的专利申请中提出了一种在二维图像域而不是三维空间中实时检测场景变化的系统。该系统使用视觉定位将两个会话的坐标系统对齐,并应用NeRF模型生成新图像。系统通过减去合成图像特征和第一会话图像特征之间的差异来识别场景变化。该系统以特征相减计算热图,并将其提供给AR应用程序显示。Snap的专利申请描述了一个六自由度追踪器,用于估计AR设备的姿态,以及一个场景变化检测系统,用于对比当前和先前会话的轨迹和图像。通过使用二维图像特征的变化来检测场景变化,该系统可以解决一些资源密集型和准确性问题,并帮助节省功耗。该专利申请最初于2022年2月提交,并最近得到美国专利商标局的公布。