Insider Insider
Roadtovr 尚无浏览 1 分钟阅读

英特尔声称可以改善头戴式显示器的图像质量——丹尼尔·波尔告诉我们如何实现

英特尔的Daniel Pohl在接受Road to VR采访时谈到了英特尔对新一代虚拟现实头显用户体验改进的研究。

Intel装进你的头显
Daniel Pohl
尽管英特尔的芯片解决方案越来越注重内置GPU功能,但你通常不会将它们与领先领域的进步联系在一起。然而,英特尔以其对研发的重视而闻名,其中并非所有与“此时此刻”使用场景直接相关的研究。也就是说,他们正在投资于未经验证的技术未来。
最近,英特尔的一个鲜为人知的研究小组发布了一篇详细介绍他们研究成果的论文。位于德国沙尔布吕肯的英特尔视觉研究所的研究科学家Daniel Pohl多年来一直致力于计算机图形的前沿领域研究。他的工作包括2004年推出的全射线追踪版本的Quake 3,堪称开创性的工作。最近,他一直致力于提升用于处理像Oculus Rift等VR头显所使用的透镜引入的像差的图像处理技术。
Daniel正在开创的技术声称在预弯曲和调整图像以应对这些透镜引入的像差时提供了更好的补偿方法。对于在Oculus Rift(如球面)中使用的透镜,图像将经过一种桶形畸变滤镜处理,以抵消这些透镜引入的枕形畸变效应(见下图):
枕形畸变[左]和桶形畸变[右]
 
如今,借助现代GPU,这种方法在计算周期方面相对便宜,但最流行的实现方式(双线性纹理查找)会产生其他不受欢迎的伪像。该方法的不准确性意味着颜色可能会模糊,导致图像更加平淡,并可能导致图像细节丢失。Daniel在他的博客帖子中很好地解释了这一点:

想象一种情况,需要显示一种每个像素交替为白色、黑色、白色等的图像;使用双线性插值的纹理查找进行图像弯曲,结果将是一些灰色的颜色。更普遍地说,会丢失高频细节。

英特尔的解决方案
Daniel提出了两种解决方法:

使用双三次纹理查找:本质上是双线性滤波的替代品,该技术在图像预弯曲时提供了更高精度,伪像更少。对于现代显卡来说,计算成本稍高,但很容易处理。
直接使用对象空间查找实现桶形畸变:该方法从场景中直接渲染所需的桶形畸变,无需进一步的后期处理。理论上消除了前两种后期处理方法引入的伪像。这种方法的计算成本更高,在渲染周期的早期引入,因此很难在现有解决方案中实现。但结果却是出色的图像品质。

Daniel与我们联系,详细讨论了这些技术和他的工作。以下是我们对他的访谈的介绍:
Road to VR:请简要介绍一下你自己。
Daniel:我是Daniel,在英特尔做研究科学家已经有7年了。我位于沙尔布吕肯的英特尔视觉计算研究所。我从小就对游戏充满了热情(当时是在Sinclair ZX81上,接着是在C64上,后来是PC),后来还编辑现有游戏或开发新游戏。当第一批2.5D射击游戏出现时,我对实现的沉浸感印象深刻。当时,这意味着以320×200的分辨率渲染的图像,没有纹理滤波等等;从那时到今天的游戏和功能的演变令人惊讶。我在欧洲论恩-纽伦堡大学学习计算机科学时很高兴能参加图形学课程,并且学到了很多关于3D编程的知识。最终影响了我进行使用光线追踪器做游戏研究项目的决定(例如2004年的《雷霆战机3:光线追踪》)。
Road to VR:你自己会认为是VR爱好者吗?是什么让你对虚拟现实产生兴趣?
Daniel:是的。我还记得看《割草机人》这部电影时,对虚拟现实所能带来的可能性印象深刻。然而,直到2012年夏天在科隆的GamesCom上我第一次尝试了我的第一个头戴式显示器(HMD)——Oculus Rift原型机,它正运行着《毁灭战士3:巴拉之怒》的一关,第一次让我感觉我真的置身于游戏中。
Road to VR:谈谈你在英特尔的工作,并详细介绍你当前的项目。
Daniel:在英特尔的早年,我们小组一直在研究在现代游戏中采用更高级的光线追踪方法。之后我们开始了一项有关云游戏的研究,具体重点是分析现有的延迟和带宽问题。最近我们还决定更深入地研究虚拟现实。
Road to VR:你是如何从光线追踪的工作过渡到图像增强的工作的?
Daniel:去年,当我们理解到广角HMD使用后期处理像素着色器对镜头进行光学畸变校正的方式时,我们意识到可以使用光线追踪器以更好的方式来完成这项工作。光线追踪器可以轻松地改变相机模型和以不同方式发射光线,在这种情况下是进行桶形畸变。 (这个也可以通过自定义光栅化器实现,但是不能使用目前常见的DX、OpenGL等接口。)今年年初,我们开始实现各种图像失真方式的研究。我们在没有实际HMD的情况下测试了大部分方法,后来在获得Rift DK1之后,我们能够验证它的有效性。
Road to VR:请详细介绍一下你正在研究的新图像处理技术以及它们对消费级虚拟现实的贡献。
Daniel:消费级广角HMD使用相对便宜的镜片将屏幕对人眼聚焦,并实现广阔的视野。不过,这样做会产生空间失真和色差。幸运的是,这些问题可以通过软件来补偿,例如Oculus SDK中的后期处理像素着色器。默认的实现方式是以桶形畸变方式对图像进行扭曲,并使用双线性纹理采样来实现。结果是处理后的图像会变得模糊。我们在这里的建议是使用双立方滤波,这将稍微提高图像质量。另一个更大的变化是不进行任何后期处理,而是渲染出以桶形畸变的方式显示的场景(对象空间校正)。我们的方法利用光线追踪器在这种方式下发射主光线。好处是清晰度明显提高,我们在我们的论文《改进的广角头戴显示器预扭曲》中进行了量化,该论文由Daniel Pohl (Intel)、Greg Johnson (Intel)和Timo Bolkart (Saarland University)合作完成。
Road to VR:对于你提出的处理技术,是否真的是在低分辨率下要求或效果更重要,而在高分辨率下则不那么重要?
Daniel:
显示分辨率:图像扭曲导致的模糊问题与显示分辨率无关。只有当显示屏显示的细节超出人眼可见时,模糊程度才会降低。但即使考虑到用于HMD的1920×1080分辨率的显示屏,我们离这一点还相差很远。
渲染分辨率:避免图像扭曲所带来的严重模糊的一种方法是对原始渲染图像进行过采样。大致上以2倍的分辨率进行渲染并使用双立方滤波,通过我们的某些度量标准,大致上可以得到与对象空间解决方案在普通分辨率下相同数量的细节,当然代价是要渲染两倍数量的像素。然而,应该记住桶形畸变的数学方程不是线性的,而对象空间解决方案则是线性的。过采样图像并将其扭曲回显示分辨率会假设线性模型。因此,通过物体空间解决方案,我们仍然可以获得更高质量的图像。

Road to VR: 在当前引擎/项目上实现你们的双三次’图像空间’后处理滤镜有多具有挑战性?这种技术会带来什么性能开销?
Daniel:就我所看,在实现上应该会非常容易。可以编写一个着色器,手动读取出16个纹理像素,并在着色器中进行双三次滤波,而不是使用双线性纹理访问的当前着色器。网上有一些有关像素着色器中双三次滤波的示例。我们测量得出,从双线性滤波切换到双三次滤波,在高端GPU上几乎没有什么影响。详细数据可以在论文中找到。

Road to VR: 你们描述了一种物体空间校正方法,其中图像呈桶形畸变(即不需要后处理)。这种技术的成本如何?
Daniel:这取决于各种因素。如果您当前正在使用OpenGL或DirectX,那么这意味着您需要切换到自定义的渲染器,并可能需要放弃这些接口提供的硬件加速功能。
如果您已经有了自定义的渲染器,我们在我们的测试系统中测得,与先渲染常规矩形帧然后通过像素着色器扭曲它相比,我们的方法实际上速度更快并且提供了更好的图像质量。原因是我们可以跳过通过图像扭曲而创建的黑色区域的渲染,这些黑色区域在HMD中通常是不可见的。此外,我们不需要后处理步骤。

Road to VR: 您在英特尔的下一步计划是什么?
Daniel:在这项研究中,我们发现了一些其他有趣的在HMD上发生的问题,我们想要研究一下。但现在分享细节还为时过早。

感谢Daniel回答我们的问题。如果您想进一步了解,您可以在此处找到Daniel的VR博客,并且可以在此处找到有关该研究的完整论文。我们期待尽快了解英特尔在提高虚拟现实领域质量方面的解决方案。

如果您想进一步阅读,请阅读VR Guy在这篇优秀的文章中深入探讨这个主题。