Nweon

美国专利及商标局最近公布了一批AR/VR专利，共有29篇。这些专利涵盖了增强现实/虚拟现实系统、跨现实系统、重投影引擎、摄像头校准、姿态估计、用户交互模式、显示技术、环境光管理、光重定向结构、雷达定位、眼动追踪、注视点显示器、动态注视点管道、视觉伪影缓解、神经网络渲染等多个方面。其中，Magic Leap、Apple、Facebook、Google和Sony都有涉及。这些专利涉及的技术包括使用深度信息进行遮挡渲染、基于定位的共享内容、增强现实设备的重投影引擎、摄像头和衍射光学元件的校准、电磁追踪的姿态估计、用户交互模式的切换、注册显示技术、环境光管理、光重定向结构、注视点显示器、神经网络渲染等。这些专利的公布显示了AR/VR领域的技术创新和发展趋势。

德勤和Snap联合发布的报告肯定了增强现实（AR）作为下一个前沿领域的作用，并指出AR如何帮助品牌提升客户体验。调查结果显示，消费者认为AR已经转向实用，不再仅仅是一个玩具，而是一个有意义的品牌参与工具。消费者可以利用AR虚拟地试用美容产品或在家中可视化家具，AR的使用量逐渐增加，并且可能改变消费者的购物体验。 报告预测到2025年，全球近75%的人口和几乎所有的智能手机用户将经常使用AR，千禧年世代和Z世代将是AR用户的主要群体。此外，调查还发现，消费者将AR用例视为理所当然，AR的最大推动力是其有趣的性质，65%的AR消费者使用AR是因为好玩有趣。消费者将AR视为实用工具的比例也在增加，大部分消费者在家中使用AR进行通信、游戏、媒体娱乐和购物等功能，并期望在未来更多地使用AR。AR能够提高品牌的转换率和视觉吸引力，使消费者更倾向于考虑该品牌和购买产品。

本文介绍了游戏开发的asset管道的重要性以及它在提高效率、减少调试和返工时间方面的作用。管道的组成主要包括asset引入、asset管理和工具/环境。在asset引入方面，通过导出插件、脚本或两者的组合，将美术和DCC工具中的asset导入游戏中。在asset管理方面，需要管理asset之间的依赖关系，以避免bug和浪费时间。工具和环境的管理也是管道设计中重要的一部分，可以帮助减少兼容性问题并精确再现美术的调试环境。最后，文章总结了管道的重要性，并提到设计适合团队的管道需要考虑多个因素，如项目规模、进度、技术团队规模和美术团队规模等。平衡是关键，对管道的理解越透彻，就能够更好地根据具体项目和团队设计关键的管道。

为了提供更好的用户体验，Oculus将在v28 SDK版本中为Quest应用程序引入运行时驱动的即时屏幕启动功能。通过微小的应用程序修改，用户将会看到启动页加载时间显著减少，测试中黑屏时间减少了15倍。该功能原理是在应用程序启动时立即显示一个高质量的启动页图像，并配以闪烁的三点，当应用程序渲染第一帧时，启动页图像和三点将立即隐藏。系统会根据输入尺寸自动调整启动页层的尺寸和位置，以在Quest 2上获得最佳像素质量。要增加logo的尺寸，需要创建一个分辨率为两倍的PNG图像。Quest 1使用完全相同的尺寸，并使用层超级采样来抵消较低的显示分辨率。为了实现方便，V28 SDK已经添加了UE4和Unity引擎的集成。用户只需要将启动页PNG添加到指定目录，并更新manifest文件，即可实现运行时驱动的即时屏幕启动功能。

英特尔智能系统实验室的研究人员发现了一种利用深度学习来增强计算机生成图像的方法。该方法以《侠盗猎车手5》为例，通过分析游戏生成的帧，并从真实图像数据集中生成新的帧来增强图像的真实感。尽管速度较慢，但该方法可能代表了未来实时计算机图形学的一个全新方向。 虽然《侠盗猎车手5》在2013年发布，但其画面仍然出色，尽管不符合“照片级真实感”的定义。 该研究展示了一种以《侠盗猎车手5》现有渲染引擎为基础，通过深度学习系统实时创建真实照片级图形的方法。该方法引入了一幅图像，并通过真实图像数据集来增强图像的真实感。研究人员使用了一个名为Cityscapes的数据集，从中提取与《侠盗猎车手5》游戏引擎最初生成帧最匹配的特征来创建新帧。 虽然这种方法的速度较慢，但研究人员相信随着优化和与游戏引擎的协同工作，未来可以提高速度，为虚拟现实带来真正的照片级真实感图形。研究人员希望他们的方法能够帮助未来的图形管道，并与实时光追兼容，提高效率和逼真度。

Facebook官网近日收录了由科隆工业大学和Facebook Reality Labs组成的团队发布的两份论文。这两篇论文的主题都是关于双耳渲染空间分解函数的优化。其中一篇名为《Optimizations of the Spatial Decomposition Method for Binaural Reproduction》的论文于今年1月发布在《The Journal of the Audio Engineering Society》上，另一篇名为《Optimizing the Spatial Decomposition Method for Binaural Rendering》的论文于2月发布在EAA/SFA e-Forum Acusticum上。 空间分解函数（spatial decomposition method SDM）通过将声场参数化为一系列平面波，为房间脉冲响应（room impulse responses RIR）的每个样本分配到达方向（direction of arrival DOA）来实现。这一函数最初为开放式麦克风阵列开发，利用麦克风之间的到达时间差（TDOA）生成DOA估计。论文讨论了利用时差和开放阵列进行分析的最佳参数。 研究团队发现使用密集头相关传递函数（HRTF）数据集绘制SDM数据可实现高空间分辨率，但会导致严重的timbral degradations。团队研究了正则量化网格在早期反射和后期混响的DOA估计中的应用。 论文还提出了一种替代均衡方法，包括混响校正过程（RTMod）和处理产生的双耳室内脉冲响应（BRIR）与级联全通滤波器（RTMod+AP）。 在感知实验中，研究人员通过直接比较双耳信号和真实扬声器来研究双耳SDM渲染所需的最小空间分辨率。初步结果表明，双耳房间脉冲响应的听觉效果与真实扬声器一样可信。

Facebook提交了几份与液体透镜相关的发明专利申请，涉及团队目前正在探索的变焦技术。为了解决视觉调节冲突，Facebook正在研究能够改变焦距或提供不同焦平面的变焦式头显。其中一种方法是使用机械系统来实现变焦，另一种方法是利用电子变焦，通过改变施加到可切换板的电压来切换不同焦距。此外，Facebook还研究了液体透镜和流体变焦的几种方法，但由于各种原因，尚未在VR变焦头显中得到应用。有关液体透镜的三个专利申请涵盖了液体透镜的构成、减少气泡形成以及使用特定涂层抑制气泡形成等方面。然而，这些专利只是专利申请，尚不清楚Facebook是否会商业化这些发明技术以及其实际应用效果如何。

哥伦比亚开发商Teravision Games宣布，他们的塔防游戏《Captain Toonhead vs the Punks from Outer Space》将登陆Quest Store，除了Steam VR和PS VR平台。这款搞怪漫画风格的FPS塔防游戏将在今年夏天发行，玩家将化身为星际超级英雄电视侠，利用一个武器库对抗来自沃赫斯联合王国的各种滑稽敌人，如赛博霸王龙和坦克钻头鲨鱼。与常见的VR塔防游戏类似，玩家需要建造和升级炮塔，并用枪械亲自对抗一波又一波的敌人。玩家的武器包括爆能枪和其他强大武器，还有毁天灭地的chancla人字拖。此外，玩家可以战略性地放置能够发射辣酱炮弹和爆炸彩猪的自动发射塔来抵挡敌人。该游戏将通过各种音效表演演绎一次令人难忘的冒险，让玩家沉浸在搞笑的卡通世界中。具体的发行时间和价格尚未确定。

现代VR/AR头显面临的一大挑战是视觉调节冲突。在现实世界中，人眼可以自然地对焦一个对象，而其他元素则脱离焦点。而在VR/AR中，无论用户看向何方，都只是盯着固定的屏幕，导致视觉调节不会改变，但视觉辐辏会出现，从而导致视觉调节冲突。这种冲突容易造成用户眼睛疲劳、恶心和头晕等问题。解决方案之一是采用能够改变焦距或提供不同焦平面的变焦式头显。Magic Leap提出的专利申请中，介绍了一种可以通过可调谐光学在合适距离呈现虚拟图像信息的混合现实显示器，并使用可调谐棱镜作为二维光学转向组件来扩大设备的有效视场。该专利描述了一种动态视场变焦显示器，其中使用可调谐透镜或可调谐棱镜。通过调整可调谐透镜的形状，可以改变虚拟内容与增强现实设备用户之间的显式距离。Magic Leap还提到，光学转向元件可以通过可调谐棱镜形式来扩展增强现实设备的有效视场，并能根据电信号动态改变其相位轮廓。这些技术有望解决视觉调节冲突的问题，提高用户体验。该专利申请于2020年11月提交，并最近在美国专利商标局公布。

魔术跳跃公司（Magic Leap）针对增强现实系统在虚拟对象表示中存在的噪点和三维重建缺陷提出了一项名为“Edge detection and smoothing for virtual object presentation”的技术。该技术通过使用增强的边缘检测和平滑方法来改进图像的体三维重建。具体实施中，计算机实现方法包括从一对摄像头获取图像数据，确定三角形网格并对其进行网格平滑和边缘平滑以去除噪点，从网格中移除不满足贡献阈值的顶点，并将网格数据传输到渲染组件以渲染全息图像。此外，专利申请还描述了其他操作，如确定边的操作、确定距离的操作、合并顶点的操作等。该技术在魔术跳跃公司的增强现实系统中包括帧结构、计算组件、框架结构、存储器和头显等组件。 该技术的专利申请于2020年10月提交，并已由美国专利商标局公布。