Facebook演示VR虚拟化身的逼真眼神、表情组合,探索化身角色眼神交流
Facebook开发了一种虚拟现实面对面交互系统,着重再现真实的注视信号和眼神交流。为了实现这一点,团队构建了一个三维虚拟化身模型,可以通过VR头显的摄像头制作动画,从而准确地跟踪和再现人类的注视信号。研究的主要贡献包括一个能更好地表示注视方向和上面部表情的3D人脸和眼球模型,将左右眼注视从彼此和面部其他部分分离开来的方法,以及用于支持头显摄像头构建精确动画的注视感知模型。实验结果显示,这种方法在重建质量上比较高,且可以大大改善虚拟化身的临场感。这个系统通过将眼球和人脸分离并单独控制渲染,实现了一系列逼真的眼神和表情组合。眼球模型通过解码器的条件变量进行控制,利用多摄像头追踪眼睛并估计注视点。另外,团队还介绍了眼球模型和人脸模型的联合模型,通过移除原来的眼球几何并添加新的眼球几何,实现了前所未见的眼神和表情组合的实时结合和驱动。通过训练和优化,可以实现更为真实的眼神交互。