微软AR/VR专利分享基于优化的深度学习参数模型拟合
Landmark检测是一项计算机视觉任务,用于在图像和视频中检测和定位人脸或身体的关键点。然而,由于姿势和遮挡等因素的影响,Landmark检测具有挑战性。为了改善AR和VR场景的沉浸感,需要将参数模型准确、鲁棒和快速地拟合到稀疏的输入信号中。传统的优化方法可以紧密地拟合参数模型,但容易陷入局部最小值。因此,一种常用的方法是将深度学习和经典优化方法结合起来。微软的专利申请中提出了一种使用深度学习和经典数值优化相结合的优化方法。该方法通过迭代机器学习求解器,结合Levenberg-Marquardt和Adam算法的特性,实现了鲁棒性和收敛速度,并能够处理具有挑战性的条件。学习优化是一个将优化视为学习问题的领域,旨在创建能够学习利用问题结构的模型,从而提高能量最小化的效率。该方法在图像去噪、立体声深度估计、人脸对齐和对象重建等方面有广泛应用。