由华盛顿大学的Aleksander Holynski氏、Brian Curless氏、Steven M. Seitz氏，以及Facebook的Richard Szeliski氏等人提出的、从一张静止图像生成流体物动画循环视频的技术论文「Animating Pictures with Eulerian Motion Fields」已公开。

※2020/12/1 – 删除了原本错误写了“云”但作例中并没有云的内容。

Animating Pictures with Eulerian Motion Fields

本文展示了一种将静止图像转换为逼真动画循环视频的全自动方法。目标场景是具有持续流体运动的场景，例如流动的水和旋转的烟雾。我们的方法依赖于这样一个观察：这类自然运动可以通过静态的欧拉运动描述令人信服地再现，也就是一个时间不变的流场，它定义了给定二维位置上粒子的瞬时运动。我们使用图像到图像转换网络来编码从在线视频中收集的自然场景运动先验。这样，对于新的照片，就可以合成对应的运动场。接着，使用深度变形方法生成的运动来使图像动起来。像素被编码为深度特征，这些特征通过欧拉运动进行变形。由此产生的扭曲特征图会被解码为图像。为了生成连续且无缝循环的视频纹理，我们提出了一种新的视频循环技术，在时间上前后流动特征并对结果进行混合。我们通过将该方法应用于海滩、瀑布、流动的河流等各种示例集合，展示了它的有效性和鲁棒性。

And also some pretty cool failure cases — if a class of objects aren’t seen during training, but share similar textural properties to fluids…
[6/5] pic.twitter.com/foI449oZMc

— Aleksander Holynski (@holynski_) December 1, 2020

这和类似的图像处理应用相比，精度已经是另一个层次了。

如果能把这项技术用于纹理生成之类的用途，感觉会很不错。
在文章公开时点，源代码尚未公开，不过，
感兴趣的话请查看项目页面。

链接

Animating Pictures with Eulerian Motion Fields