就实景VR视频而言，全景视频是沉浸感的黄金标准。对于静态场景捕捉来说，摄影测量也是如此。但是这两种方法都存在一些限制，这些限制降低了逼真度，特别是在处理“视角相关”效果（如镜面高光和透明物体的透镜效果）时。来自泰国维迪亚西里梅堤科学与技术学院的研究显示了一种令人惊叹的视角合成算法，通过准确处理这些光照效果，显著提高了逼真度。

泰国维迪亚西里梅堤科学与技术学院的研究人员今年早些时候发布了一篇名为NeX的实时视角合成算法的论文。其目标是仅使用几张场景的输入图像，合成出从真实图像之间任意点展示场景的新帧。

维奇萨库尔·维扎登斯、帕卡邦·邦泰威、吉拉丰·彦普拉派和苏帕索恩·苏瓦亚纳葵尔恩的研究指出，这项工作基于一种称为多平面图像（MPI）的技术。他们表示，与先前的方法相比，他们的方法更好地模拟了视角相关效果（如镜面高光），并且创造出了更清晰的合成图像。
除了这些改进，团队还对系统进行了高度优化，使其能够轻松以60Hz的帧率运行，较之前的技术提升了1000倍。我必须说，结果令人惊叹。

尽管尚未针对此用例进行高度优化，研究人员已经使用具备立体深度和完整6自由度运动的VR头戴设备对该系统进行了测试。

研究人员总结道：
我们的表示方法在捕捉和再现复杂的视角相关效果方面非常有效，并且在标准图形硬件上计算高效，从而实现实时渲染。我们对公共数据集和我们更具挑战性的数据集进行了大量研究，证明了我们方法的最先进质量。我们相信神经基础扩展可以应用于光场因式分解的一般问题，并为其他场景表示（不仅限于MPI）的高效渲染提供便利。我们明确优化了一些反射参数和高频纹理，也有助于恢复细节，这是现有隐式神经表示所面临的一个挑战。
您可以在NeX项目网站上找到完整的论文，并在浏览器中尝试其中的演示。如果您使用的是Firefox，还有适用于PC VR头戴设备的基于WebVR的演示，但可惜地不适用于Quest的浏览器。

注意木材中的反射和水壶手柄上复杂的高光！这些视角相关的细节对于现有的全景和摄影测量捕捉方法来说非常困难。在我看过的VR全景视频捕捉中，通常对这类视角相关效果感到困惑，往往很难确定镜面高光的适当立体深度。摄影测量或“场景扫描”方法通常会将场景的光照“烘焙”到纹理中，这通常会使透明物体看起来像纸板（因为随着您以不同角度查看物体，光照的高光没有正确变化）。NeX视角合成研究可能会显著提高VR全景捕捉和回放的逼真度。