回到一月份,微软研究院公开了一个名为Illumiroom的有趣项目。该系统使用Kinect和普通投影仪,扫描您电视周围的环境,并利用收集到的信息智能投影额外的信息在电视周围,旨在创造更沉浸式的游戏体验。当时我们只看到了该技术的预告片 – 现在微软公布了更详细地介绍了该系统的功能以及技术细节的完整论文。
这是Brett Jones的主要研究人员之一的网站上该系统的官方描述:
电视是客厅娱乐的焦点,尽管多年来我们的电视变得越来越大和更亮,但我们的内容仍然被困在我们客厅的一个小盒子里。我们介绍了IllumiRoom,这是一个概念验证系统,通过投影可视化效果来增强传统观看体验的电视周围区域。IllumiRoom可以直接扩展观看体验,将40英寸电视变成15英尺电视。IllumiRoom可以实现增强现实体验,其中虚拟物体与物理环境(例如家具)互动。最后,IllumiRoom可以增强和扭曲物理环境(例如让客厅看起来像卡通片)。
IllumiRoom系统可以实现一些非常酷的效果。新视频比之前我们看到的更详细地展示了该系统,并展示了一系列有趣的效果。
在视频中展示的有限效果中,我最喜欢的效果可能是现实扭曲的“径向晃动”,虽然我有一种感觉,还有更多创意风格等待着创造。
对于那些对技术感兴趣的人,微软研究院还发表了一篇关于IllumiRoom的详细论文。以下是摘要:
IllumiRoom是一个概念验证系统,通过投影可视化效果来增强传统游戏体验的电视周围区域。我们研究了如何通过投影视觉效果在外围环境中消除、包含或增强现有的物理环境,并补充电视屏幕上显示的内容。外围投影幻觉可以改变房间的外观,产生视觉上的运动感,扩展视野,并实现全新的物理游戏体验。我们的系统完全自动校准,并且设计成可在任何房间工作。我们对外围投影幻觉的设计空间进行了详细探讨,并展示了如何从游戏内容中触发和驱动这些幻觉。我们还提供了两组目标用户(10名游戏玩家和15名游戏设计师)的具体反馈,以提供通过外围投影幻觉增强游戏体验的见解。
为了给其功劳,论文归功于以下作者:Brett R. Jones,Hrvoje Benko,Eyal Ofek和Andrew D. Wilson。
我特别对该系统的校准方面感兴趣。研究人员巧妙地结合了投影仪和Kinect传感器的功能,以实现对场景的几何形状和颜色的准确扫描。我查阅了论文,想了解一下校准过程的情况,并发现了一件有趣的事情:与我之前的想法不同,Kinect不需要总是在电视后面,而投影仪需要,这使得该系统比我之前认为的更适合主流使用:
Kinect传感器捕捉场景的颜色和几何形状,系统使用获取的深度图渲染幻觉效果。为了使幻觉与屏幕上的内容和物理环境紧密匹配,需要进行仔细的系统校准。IllumiRoom系统的自动校准完全自动化,确定了投影仪与深度传感器的相对位置以及电视在投影仪图像中的位置。因此,设置只需要将投影仪和深度摄像头放置在覆盖电视周围区域即可。自动校准会投影灰度码序列,以确定投影仪对深度传感器以及投影仪图像中电视的相对位置。投影仪与Kinect的彩色相机之间的密集对应关系。使用Kinect的默认参数将这些对应关系转换为3D点。然后,我们求解投影仪的内参和外参。由于光泽的表面(例如闪亮的黑色电视)没有深度数据,我们使用2D单应性恢复电视的位置,通过在屏幕的每个角落显示虚拟标记。需要注意的是,校准只需要进行一次。因此,Kinect相机可以用来校准投影仪,然后放回电视支架上进行游戏。
如果您想了解更多信息,请阅读有关投影映射的内容。
这绝对是一个有趣的系统,不过微软公开了所有这些信息,我们认为可能不会很快在Xbox One上看到。