由中国南京大学研究者等提出的、面向实时渲染的任意尺度超分辨率技术「Deep Fourier-based Arbitrary-scale Super-resolution for Real-time Rendering」论文已公开。

Deep Fourier-based Arbitrary-scale Super-resolution for Real-time Rendering

在许多图形应用中，帧超分辨率作为有效降低渲染成本的有力工具，近年来取得了重要进展。然而，大多数为内容渲染而设计的先前研究都面临一个共同的限制：模型一旦训练完成，只能允许单一固定尺度。本论文试图通过为已训练的神经模型支持任意尺度超分辨率来消除这一限制。关键在于一种基于傅里叶的隐式神经表示，它能够将高分辨率空间域中的任意坐标自然映射为有效的像素值。通过观察高分辨率 G 缓冲区与高分辨率渲染帧具有相似的频谱，我们设计了高频傅里叶映射（HFFM）模块，能够从低分辨率输入中恢复细节，而不会引入明显伪影。通过采用低频残差学习（LFRL）策略，保留低频结构，并将网络推理带来的偏差控制在较低水平。此外，不同的渲染内容可通过由 G 缓冲区和运动矢量导出的空间与时间掩码得到有效分离。若干轻量级神经网络设计确保了其在广泛场景中的实时性能。

如果真的能以这样的质量进行放大，那精度相当不错！很期待其实用化。目前仅公开了论文。

链接

Deep Fourier-based Arbitrary-scale Super-resolution for Real-time Rendering

Deep Fourier-based Arbitrary-scale Super-resolution for Real-time Rendering | ACM SIGGRAPH 2024 Conference Papers