Xingang Pan、Ayush Tewari、Thomas Leimkühler、Lingjie Liu、Abhimitra Meka、Christian Theobalt 等人提出的「Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold」引发关注。

※2023/05/20 – 添加视频
※2023/05/25 – 添加代码和演示页面链接

Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold

为了合成符合用户需求的视觉内容，需要能够灵活且准确地控制生成对象的姿势、形状、表情和布局。现有方法通过手动标注的训练数据或预先的 3D 模型来获得生成对抗网络（GAN）的可控性，但往往缺乏灵活性、精度和通用性。本研究将探讨一种强大的 GAN 控制方法：如图 1 所示，将图像中的任意点进行“拖动”，与用户交互并使其准确到达目标点，这是一种尚不广为人知的方法。为实现这一点，我们提出了 DragGAN，它由两个主要组件组成：1）基于特征的动作监督，将手柄点移动到目标位置；2）一种新的点跟踪方法，利用可微分生成器的特征持续定位手柄点的位置。DragGAN 能够在精确控制像素位置的同时变形图像，因此可以操作动物、汽车、人类、风景等多种类别的姿势、形状、表情和布局。由于这些操作是在已学习 GAN 的生成图像流形上进行的，因此即使在遮挡幻觉或需要一致遵循物体刚性的形状变形等困难场景下，也往往能够得到逼真的输出。通过定性和定量对比，证明了 DragGAN 在图像操作和点跟踪任务上优于以往方法。此外，还介绍了通过 GAN 反演来操作真实图像。

这是一项能大幅降低图像编辑难度的精彩技术。

连汽车都能随心编辑！
哇，真厉害……好想快点试试。
目前代码尚未公开。是不是会配合 SIGGRAPH2023 发布呢？
其他详细信息请查看项目页面！

链接

项目页面：Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold

DragGAN Colab Demo

非官方实现：DragGAN: Workable implementation of “Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold”