由迪士尼的研究开发部门“迪士尼研究(Disney Research)”提出的“High-Resolution Neural Face Swapping for Visual Effects(用于视觉效果的高分辨率神经人脸交换)”
EGSR(Eurographics Symposium on Rendering)2020 技术论文
本文提出了一种用于图像和视频的全自动神经人脸交换算法。据我们所知,这是首个能够以兆像素分辨率渲染出写实且时间上连贯结果的方法。为此,我们介绍了一种渐进式训练的多路输出网络,以及一种能够保持光照和对比度的融合方法。此外,尽管渐进式训练可以生成高分辨率图像,但当架构和训练数据扩展到两人以上时,可以提高生成表情的保真度。在将生成的表情合成到目标脸部时,我们展示了如何应用融合策略以保持对比度和低频光照。最后,为了实现高分辨率视频工作中必不可少的时间稳定性,我们在面部关键点稳定算法中引入了细化策略。我们进行了广泛的消融研究,以展示设计选择对交换质量的影响,并将我们的工作与常见的最先进方法进行比较。
这看起来很可能已经悄悄在电影等场景中实用化了。
太厉害了……
链接
High-Resolution Neural Face Swapping for Visual Effects | Disney Research Studios