Nweon

DeepFovea是一个基于AI的注视点渲染系统，主要用于虚拟现实和增强现实显示器。它采用了少量像素数量，同时能够实现逼真的注视点全画质体验。通过使用生成对抗网络（GAN），DeepFovea可以根据稀疏的输入生成自然视频片段。在测试中，DeepFovea可以将渲染所需的计算资源减少多达10-14倍，而人眼无法注意到任何图像差异。该系统能够对用户注视的区域进行密集采样，并实时有效地生成丢失的外围像素，不会出现保真度丢失的情况。DeepFovea的意义在于通过注视点重建来提高AR和VR的渲染效能，这对于将沉浸式体验带给更多设备非常重要。随着AR和VR应用不断发展，视线识别技术如DeepFovea将发挥重要作用。Facebook已经将DeepFovea的源代码托管至GitHub，并发布了完整的论文介绍。

根据福布斯报道，HTC Vive port总裁Rikard Steiber将在今年底离职。Rikard Steiber在Twitter上分享了福布斯的报道，并在邮件中表示他将从今天开始休假，直到明年初的四年合同结束。Rikard Steiber曾在谷歌担任全球营销总监，在2016年2月加入HTC。他表示，与Viveport团队一起开拓了全球60多个市场，并对Viveport会员订阅服务感到自豪。

Oculus Quest的Root权限破解项目被推特用户@GarnetSunset展示出来，并@了Oculus官方推特账号。该项目称为"Quest Escape"，代码托管在Github上，但尚未公开完整代码。所有代码由Github用户@adc创建。 该推特附带了两张图片，其中一张显示了Oculus Quest的Root权限信息。这意味着用户可以绕过设备的限制，以获取更高级别的访问权限，从而可能在设备上运行未经授权的软件或修改系统设置。 Oculus Quest是一款独立式的虚拟现实头显，无需连接电脑或游戏主机，可提供高质量的虚拟现实体验。然而，对于许多用户来说，Root权限的破解可能提供了更多自定义和控制的机会。

根据以上所述，几乎所有AR/VR领域的顶级公司都在开发眼动追踪技术。然而，中国科技公司在眼动技术方面的布局相对较弱，全球眼动追踪技术仍处于起步阶段，需要大量的技术迭代。作者认为，优秀的眼动追踪技术需要与光波导元件和显示光学方案相结合，才能获得更好的效果。眼动追踪可以提供波导显示器更好的显示效果，而波导则可以提供更高的追踪精度。天蝎科技吸收了全球眼动追踪技术的优点，并提出了一项利用眼动追踪技术的专利，希望与中国的AR智能眼镜制造商和波导镜片制造商合作。此外，天蝎科技还拥有大量基于眼动追踪应用软件的AR眼镜商业模式专利，可以完善AR眼镜硬件公司的战略布局。最后，作者感谢映维网为中国AR/VR行业提供的专利资源，让创业者有机会接触顶尖公司的技术。本文介绍了两种利用眼镜反射光强度进行眼动追踪的技术方案。第一种方案是利用视网膜反射光强度进行眼动追踪，该方案由Facebook提出。其基本原理是通过红外光发射器和光敏传感器阵列将红外光引导至眼睛，并通过分析反射光最大强度来确定眼球的注视位置。第二种方案是利用角膜顶点处的反射光强度进行眼动追踪，该方案由加拿大Adhawk提出。该方案通过使用MEMS扫描镜和光敏传感器，将二维的扫描路径转化为一维的时间来计算眼球的注视位置。相比于利用图像计算进行眼球追踪的技术方案，这两种方案计算量更低、硬件成本更低，并且更适合轻便和低功耗的AR眼镜设计需求。微软也是MEMS眼动技术的拥护者，其已公开了多项与MEMS眼动技术相关的专利。MEMS技术具有体积小、重量轻、功耗低、可靠性高、灵敏度高、易于集成等优点，是微型传感器/驱动器的主力军，正在逐渐取代传统机械器件。捕获眼睛影像法是一种眼动追踪技术，通过内置摄像设备捕获眼睛的图像，用于追踪眼球的运动。在AR/VR眼镜中，通常会使用瞳孔角膜反射法来实现眼动追踪，通过计算角膜中心和瞳孔中心的连线来确定注视点。另外一种方式是利用光波导传输眼睛影像，光波导可以将眼睛的反射光影像传导至摄像头，实现眼动追踪。在AR智能眼镜中，为了解决光学路径设计的挑战，可以使用反光镜或光波导来改变光学路径。其中，反光镜适用于VR眼镜，而光波导适用于AR眼镜。光波导是一种通过全反射将光线导引的光学元件，它可以在眼镜内部传导眼睛的影像光，以实现眼动追踪。这种光学方案可以使AR眼镜更小、更轻，并且保持较低的重量和更大的视场角。AR眼镜中的光波导技术能够隐藏摄像头，收集眼睛正前方的影像，避免边缘收集并提供设计空间。

虚拟现实（VR）的发展引起了市场的关注，然而，要向观众解释优秀的VR体验并不容易。对于创作者、街机店运营商和头显厂商来说，他们需要解决如何向观众展示VR体验的问题。混合现实捕捉是解决这个问题的方法之一，它可以在VR体验中录制真人并记录虚拟元素的场景，然后将两者融合在一起，给观众呈现真实人类与虚拟世界交互的影视内容。要实现准确的体验展示，混合现实捕捉需要一系列工具并克服技术挑战。例如，需要确保录制玩家的真实摄像头和数字虚拟摄像头位置和角度对齐，以及控制器和虚拟对象对齐。另外，为了更好地展示虚拟场景，可以使用绿幕技术或深度摄像头来替代玩家的真实环境。MixCast是一种混合现实捕捉的一站式解决方案，可以帮助简化设置混合现实捕捉系统的过程，并支持绿幕和非绿幕混合现实捕捉。它还具有实时查看混合现实体验和分享VR体验的功能。

增强现实（AR）和计算机视觉公司Ubiquity6最近推出了名为Display land的AR应用程序及创作社区。该应用程序允许任何人将现实世界的物理空间转化为数字环境，进行创意的自我表达。用户可以利用智能手机摄像头捕捉环境，并在共享的数字空间中进行重建。Display land内置了编辑工具，用户可以使用这些工具构建和发布沉浸式作品，包括交互式建筑注释、空间相册和动画场景等。用户可以通过移动设备、PC和VR设备的Web浏览器访问相关URL来查看这些作品。Ubiquity6使用移动视频、智能手机运动和GPS传感器的技术，可以在世界任何地方实时创建逼真的3D场景。Ubiquity6的首席执行官表示，Display land是世界上第一个与现实世界成1:1比例的用户生成的虚拟空间目的地，用户可以在其中分享并学习全球各地的文化。Ubiquity6的技术突破包括实现长时间持续存在的大规模共享AR体验，通过使用机器学习技术来确定手机及其周围环境的位置。

Snapchat计划在2020年为AR大V（影响力较大的AR创作者）提供75万美元的奖励，这是比今年增加了三倍。Snapchat希望通过资助大V创作者来巩固其在增强现实领域的地位。这一消息是在Snapchat的年度Lens Fest大会上宣布的，这个活动邀请了100多位Lens创作者参加。Snapchat同时开始销售第三代视频眼镜Spectacles 3，该产品售价380美元，并能够通过为增强现实效果设计的3D技术来录制视频。参会的创作者们对这款眼镜表示乐观，认为它是朝着实现增强现实功能的目标迈进的一步。除了Snapchat，苹果、Facebook和微软等科技巨头也在积极开发AR硬件。Snapchat目前拥有2.1亿活跃用户，其中70%每天都与Lens互动。Snapchat希望通过大V创作者的影响力来推广自己，鼓励创作者创作更多有趣的AR故事。品牌商可以赞助Lens广告并突出显示相关广告。Snapchat计划在2020年继续资助Lens创作者，并通过强大的社区和技术交流来进一步发展AR生态系统。

Unity的Lightweight Render Pipeline（LWRP）现已正式支持Oculus应用，尤其是Oculus Quest。LWRP是Scriptable Render Pipeline（SRP）的一部分，通过C#脚本允许开发者自定义渲染管道的特定细节。它使用一组统一的着色器，可以通过代码进行微调和自定义。LWRP使用单通道正向渲染器，将光在单通道中着色，从而降低了CPU负载。对于使用Unity内置着色器的项目，可以轻松升级到LWRP着色器，但使用自定义着色器的项目可能需要重写它们以适应LWRP。在使用LWRP时，需要注意LWRP与Oculus Quest配合使用时的性能问题，尤其是在中间纹理渲染方面。即将发布的Unity 2019.3将将LWRP更名为Universal Render Pipeline（URP），API保持不变。总的来说，LWRP为开发者提供了更高的灵活性和自定义功能，但也需要注意性能问题。

工业级AR/VR头显开发商Varjo与联想达成了技术与商业合作协议。根据协议，所有兼容Varjo头显的联想PC和移动工作站都会获得一个“Certified for Varjo”认证标签，以加速企业机构采用和实现PC用例。Varjo的合作伙伴关系为专业用例提供了高质量的体验，涵盖了汽车、仿真、培训和建筑可视化等领域。通过结合Varjo的高人眼分辨率VR头显和联想工作站产品的处理和计算能力，可以提供自然的视觉体验，探索高分辨率模型和进行模拟交互。此外，Varjo还推出了工业级VR头显VR-2和VR-2 Pro。

Facebook在今年的OC6大会上发布了允许Quest用户在Rift游戏中玩游戏的工具软件Oculus Link，并以beta形式正式推出。现在，只需将Rift驱动和Quest系统更新到最新版本后，用户通过一条兼容的数据线接入游戏PC即可体验VR大作《Asgard's Wrath》和《Stormland》等游戏。Oculus Link软件支持大多数高质量的USB 3数据线，并计划在今年晚些时候推出定制版本的5米长数据线以及在2020年扩大市场覆盖范围。Facebook还公布了使用Oculus Link的规格要求，包括PC要求、支持的显卡和数据线要求。使用Oculus Link前，需要下载Oculus PC程序并确保软件版本和Quest操作系统已更新至最新版本。