/ Roadtovr / 0浏览

IMR正在开发一种无线视频系统,以支持4K单眼虚拟现实头显。

澳大利亚初创公司Immersive Robotics正在计划推出一种被他们宣称为PC VR头显的真正通用无线解决方案,该方案在保证最低延迟和极高质量的同时实现无线虚拟现实。

我一直觉得观察一种新技术的出现如何加速另一种技术的发展非常有趣。例如,对智能手机规格的快速进步加速了移动高分辨率显示屏和低成本IMU元件的发展,如果没有这些元件,今天的第一代消费级VR头显根本无法存在。同样地,现在消费级VR终于问世,对于那些越来越过时、遮挡视觉体验的电缆的解决方案的需求推动着无线视频系统的创新和迅猛发展。
我们看到了很多关于公司试图为(直到现在)进展缓慢的无线视频传输领域注入新活力的报道。最近,我们看到HTC与TPCast合作,为他们的SteamVR动力的Vive VR系统提供了一个无线附加解决方案。但是在此之前,我们已经听说Valve正在向Nitero投资“大量资金”进行VR无线视频流媒体的研发,Nitero是这个领域的专家,Quark VR和Serious Simulations也比这之前进入了这个领域。然而,当涉及推动尖端技术的边界时,永远不会有太多人追逐终点。
Immersive Robotics(IMR)是一家澳大利亚初创公司,他们开发了一种无线VR流媒体和内联压缩系统,从一开始就设计用于PC VR头显,宣称延迟低至2-3毫秒,并且能在您家中已有的现有WiFi标准上运行。IMR称他们的系统为Mach-2K,从迄今为止我们所看到的情况来看,它显示出了一定的潜力。事实上,IMR的项目远非新鲜,创始人从2015年开始就一直在开发他们的技术,在首次在早期OSVR头显上运行工作概念后获得了政府资助以进行进一步的开发。
IMR的联合创始人是Tim Lucas和Dr Daniel Fitzgerald。Lucas在无人机设计方面有丰富的背景,曾参与多个“知名”的无人机设计,并且还涉足了VR和激光雷达驱动的摄影测量领域,他构建了一个他所描述的“来自飞机的第一个三维扫描环境的虚拟现实模拟”。Lucas的合伙人Fitzgerald则来自航空航天航电工程领域,拥有专攻当时新兴无人机产业的博士学位。Fitzgerald曾为这些无人机构建自动飞行软件,这让他有机会展示他的算法软件开发技能。
随着虚拟现实行业迅速发展,这两位创始人着手设计了一套基于专有软件算法的系统,能够将图像无线传输到VR头显中。Fitzgerald告诉我们:“实际上,从现代VR历史的早期阶段,我的商业伙伴Dr Daniel Fitzgerald和我就决定解决将HMD无线化的问题,我们最初的专长是设计高端无人机,最开始我们将其视为该领域的一个接口。”团队很快意识到,随着消费级成本的房间规模VR的出现,有一些重要的机会可以利用。“我们调查了一下,很快我们就意识到,很快使用有线HMD的所有人可能都希望摆脱电缆,而且这个不断增长的市场潜力是巨大的,”Lucas告诉我们,“我们从头开始设计了一种视频压缩算法,可以将数据压缩到目前无线技术可接受的速率,同时消除了当前的压缩技术的缺陷,这些缺陷使其对于VR不适用,比如高延迟。”
“最终我们得到了一个运行压缩和解压缩算法的在个人主板上运行的压缩和解压算法,能够将HTC Vive的数据压缩约95%,且延迟不到1毫秒。最重要的是,用户所看到的画面没有明显的降级。
Mach-2K接收器和腰带
该系统被称为Mach-2K,由一个电池供电的接收盒组成,尺寸足够小,可以由玩家系在腰带上。然后将该单元连接到USB、音频和HDMI上,再将传输设备连接到PC,将本机分辨率为2160 x 1200,刷新率为90Hz的图像传输到目标虚拟现实头显(目前是HTC Vive)。IMR公司开发了一套手工编写的算法,能够在不到2-3毫秒的运动到像素延迟下实现高达95%的图像压缩,并通过普通WiFi系统传输。
如果这还不够,这两个设备分别在源和目标进行图像压缩和解压缩,最初的设想是处理每眼4K分辨率,刷新率高达120Hz,以满足下一代高规格虚拟现实设备的需求。“目前我们已经将其缩小以支持HTC Vive,”Lucas表示,“它将支持每眼4K,我们认为这是不久的将来的需求”,因此IMR的技术在虚拟现实头显的进步中还有发展空间。
Mach-2K接收器内部
Mach-2K规格:

目前完全支持的分辨率为2160 x 1200
目前完全支持的刷新率为90Hz
近期计划的分辨率为每眼4K
近期计划的刷新率为120Hz
主CPU:FPGA
I/O:HDMI、USB 2.0、12伏电源输出
眼动追踪输入
供电:5伏直流
当前频率:802.11ac Wi-Fi 5GHz
未来支持的频率:高达60GHz的WiGig
内置软件:B.A.I.T“生物增强图像传输”算法
可提供OEM和SDK选项,允许第三方为算法创建特定应用模块。
用户可选压缩方案

Lucas继续说道:“最终我们得到的是一个压缩和解压算法,在个人主板上运行,能够插入HTC Vive并将其数据压缩约95%,延迟不到1毫秒。”
持怀疑态度?我也是。因此,我向IMR要求提供一些示例图片,展示Mach-2k系统前后图像质量的对比。下面的图片代表了IMR根据压缩算法的调整和迭代展示的开发进展。每个图像方格比较了经过公司旧的V2算法和当前的V3版本后,与原始未经压缩的图像之间的保真度。点击每张图片以加载完整尺寸图像。

有损(并非贬义词,仅表示丢弃了数据)视频压缩旨在通过丢弃用于描述场景的数据来缩小数据大小。由于同一图像在每帧中仍需用更少的数据来描述,因此必然需要做出一些妥协。压缩场景的明显特征是对细微色彩保真度的损失,最明显地表现为平滑色彩渐变上的条带状行为或马赛克效果。你可以看到IMR的旧V2算法在准确描述渐变方面的困难程度高于原始图像,但他们当前的方法改进得更明显,引入的额外条带效果很小。
如果这种图像质量水平确实代表实时90Hz体验,我很容易看出许多用户在除了特别具有挑战性的虚拟现实场景之外,无法区分有线和无线版本的体验。
然而,请注意我们尚未亲眼见证过该系统的运行,所以即使假设压缩质量确实代表实际情况,我们仍无法评判额外的延迟——当然,性能的衡量标准就取决于延迟。
最终,IMR希望他们的技术成为为所有虚拟现实头显提供通用无线解决方案的方式。“我们的算法尽可能设计成和无线设备无关,”Lucas说,“我们向一些世界领先的WiFi和虚拟现实专家进行了演示,他们普遍认为我们的延迟是目前为止最佳的。这可以提供各种整合选项,但显然会带来额外的开销。
请翻到第2页看《与Immersive Robotics的采访》。

很明显,Immersive Robotics正在迅速发展,并计划在下个月在拉斯维加斯举行的CES展会上展示他们的技术。为了深入了解,以下是IMR对我们关于他们技术的一些重要问题的回答。

VR之路:听起来您的核心卖点是压缩技术。它完全是专有的吗?如果是这样,是否意味着您必须为传输和接收设备使用的(想必是SoC)构建自定义的压缩加速技术?

IMR:我们的压缩/解压缩是专有的,从头开始专门解决在任何支持设备之间传送VR数据的问题。可以将其称为VR标准。我们的旗舰产品演示器通过无线方式在PC和HMD之间无缝传输VR视频和USB数据。除了我们自己设计的核心算法和VR标准,整个系统是在我们的实时电子硬件上实现的。

我们展示了从压缩到传输再到解压缩的端到端系统的延迟不到1毫秒。我们观察到其他正在进入市场的产品存在极高的延迟,这对于VR来说是不切实际的,会令人不适。而且它没有未来的可扩展性。

我们花费了大量的时间和资源来创建这个架构,以便算法可以在其上运行,它非常快速且稳定。我们选择完全独立于计算机进行操作,因此不会受到任何软件层的减速,全部都是嵌入式完成的。不需要安装软件或驱动程序。这涉及我们自己的定制PCB硬件和在芯片上运行的所有支持代码。所有这些都是专有的。(在美国递交了临时专利申请,美国临时专利申请号62/351738 – “图像压缩方法和设备”)

VR之路:您说压缩和传输的过程只会增加1毫秒的延迟 – 这是运动到光子的延迟吗?您是如何测量延迟的?

IMR:压缩和解压缩一帧数据(大约95%)的过程仅引入延迟数百微秒,这是通过我们硬件的时钟周期来测量的,即压缩和解压缩一小部分数据所需的时间。这个测量是对我们所替代的延迟进行的测量 – 比如,例如视频中的HDMI电缆。因此,延迟添加到系统延迟中,通常连接着HDMI和USB电缆的部分。

VR之路:你们使用的无线传输技术/频率是什么,您是如何处理潜在的视线问题的?

IMR:实际上,我们能够利用一些现成的WiFi模块,我们选择这条路线是因为我们的压缩技术的强大,我们能够将数据速率降低到一个可接受的水平,从而只需利用最新的现有WiFi技术,这样可以降低成本,同时也使我们有机会与已经在这个领域表现良好的其他公司合作。

我们可以使用从802.11 AC开始的任何东西,甚至可以升级到新的AD标准以获得更高的带宽和更少的压缩。

我们带子上天线的安置方式几乎总能让基站的一个天线处于视线范围内。视线问题在高频段更突出,更需要对天线位置给予更多关注。即将发布的型号在CES上使用的是802.11 AC。

VR之路:系统的最大范围是基站和接收器之间的距离?

IMR:这取决于所使用的WiFi频率和所选的压缩级别,我们可以自动调整压缩以适应信噪比,或者用户可以选择一个预设的压缩级别。随着距离增加,信号强度减弱,需要更多的压缩来保持传输正常。对于此应用程序,数据传输速率(AC)在理论上可达到50米,并在一定程度上取决于环境因素; 对于大多数游戏区域来说,这肯定足够了。我们意识到我们的技术还允许人们开发更大的游戏区域,并添加更多的人员进入其中,我们正与有兴趣的公司合作进行测试。

我们的模块可以保证多个用户在同一个大区域内进行游戏。我们与VR场馆公司保持联系,他们建议一个30×30的区域将是非常好的,因此我们目前正在测试以支持这一点。

Road to VR:您利用了哪些历史上的或通过招聘获得的专业知识,使您能够设计出这样一种高效的编解码器?

IMR:压缩算法完全由Daniel Fitzgerald博士和我自己开发。我们的背景是航空航天与机器人技术,主要是开发高端任务关键的无人机技术。这涉及到很多无线/摄像头、视觉处理技术,以及安全性和时限关键的硬件和软件组合,先进的自动驾驶开发和快速原型制作。我们发现在VR行业中存在这种需求的变化,并且我们有之前的技能和知识来应用并迅速实现它。

我们为公司获得了投资,并雇佣了熟练的工程师来协助解决PCB设计、HDMI、以太网、无线芯片等接口的问题,并解决像创建无线USB链接这样的问题。

Road to VR:您提到了您的压缩系统与现有系统存在的问题,请具体说明那些问题以及您尝试过的编解码器是什么?

IMR:现有的常规视频压缩技术,例如H.264和其他许多技术,使用帧到帧的压缩(帧缓冲)来实现高压缩率,这对于在屏幕上观看内容是可以的。但是,例如,如果您将其用于HTC Vive,您将增加超过11毫秒的延迟(缓冲一个帧),随着将来屏幕分辨率的增加,您将有更多的延迟。不涉及太多专有细节,我们的系统能够在如此低的延迟下工作,是因为我们找到了一种特殊的压缩方式,不受任何限制。

上述延迟问题是我们的系统与目前市场上其他公司推出的产品的关键区别。我们从一开始就考虑到了实际问题,而不是试图快速推出一个对VR来说不可接受的产品。如果您正在开发VR的无线配件,您可以接受无线部分引入的最多2或3毫秒的延迟。

Road to VR:您说IMR正在努力将这项技术产品化。您的价格范围是多少-这里只需要一个非常粗略的范围。

IMR:我们目标客户是可以将此技术推向消费者,用于VR场馆、主题公园、培训等应用的企业客户。价格取决于数量,但大致在1200-1500美元左右。

有关Immersive Robotics的更多信息,请访问他们的网站、推特或Facebook页面。

0

  1. This post has no comment yet

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注