Insider Insider

Nweon

nweon 文章

Meta、斯坦福大学用生成式AI实现3D空间环境人机交互,为AR/VR打开高水平动态人机交互大门

斯坦福大学和Meta的FAIR团队近日介绍了一种突破性的人工智能系统,名为CHOIS(Controllable Human-Object Interaction Synthesis/可控人-物交互合成)。该系统使用最新的条件扩散模型技术,能够仅根据文本描述,在虚拟人和物之间产生自然的同步运动。研究团队专注于从语言描述和稀疏物体路径点的指导下,合成涉及不同对象的逼真交互。通过条件扩散模型,CHOIS系统能够模拟生成详细的运动序列,实现语言与物理动作的联系。该系统对动画和虚拟现实领域具有重要影响,可以省去制作复杂场景动画所需的时间和精力,并提供更身临其境的交互式体验。研究小组认为这是创建先进人工智能系统、进一步研究从3D场景和语言输入中合成人机交互的重要一步。该研究为未来可能带来更复杂的人工智能系统打开了大门。
Meta、斯坦福大学用生成式AI实现3D空间环境人机交互,为AR/VR打开高水平动态人机交互大门

索尼专利提出气味呈现设备,为PSVR嗅觉体验提供可能性

据映维网报道,索尼近日公布了一项名为“Aroma chemical presentation apparatus”(香气化学呈现设备)的专利申请。该设备旨在为用户提供嗅觉体验,包括封装香气化学材料的封装体支撑单元、物理作用于封体以散发香气化学物质,并通过排气风扇形成气流。此外,香气化学呈现设备还包括托盘单元、机构单元和控制电路单元。机构单元与托盘单元可相互集成形成容器体,并通过铰链连接。控制电路单元通过接收信息处理设备发送的指令控制香气化学呈现设备。香气化学物质通过排气风扇产生的气流被呈现给用户,当停止呈现时,另一个排气风扇产生的气流用于排出残留的香气化学物质。香气化学呈现设备还可以通过代码图像读取器与信息处理设备或类似设备进行通信。这项专利申请于2023年4月提交,并由美国专利商标局公布。
索尼专利提出气味呈现设备,为PSVR嗅觉体验提供可能性

微软AR/VR专利在物理显示屏、3D虚拟屏间的实现鼠标迁移,为XR混合办公提供技术支持

办公是头显的一个重要用例。通过头显系统可以呈现远大于物理显示屏的显示空间。然而,这种用例涉及将数字内容从3D虚拟空间移回物理显示屏,或者从物理显示屏移到3D虚拟空间的情况。微软申请的专利名为“Mouse cursor and content migration between 3d space and physical flat displays”,介绍了一种相关的方法,特别是鼠标提示符和内容从3D空间到物理平面显示器的迁移。该专利描述了将鼠标提示符从显示屏的有界显示区域移出的情况,并在增强现实环境中生成和呈现鼠标提示符的虚拟对象实例。系统可以根据用户输入将交互控制对象移动到有界显示区域之外,并提供不同的显示样式和交互方式。此外,系统还可以根据用户输入选择不同的虚拟对象显示元素,并在不同的表示格式下呈现交互式控件对象。该专利提供了增强用户体验的方法,帮助用户在增强现实场景中与虚拟对象进行交互。
微软AR/VR专利在物理显示屏、3D虚拟屏间的实现鼠标迁移,为XR混合办公提供技术支持

Wi-Fi 7 标规2024年Q1定案,高速率低延迟为无线AR/VR提供支持

Wi-Fi联盟宣布将于2024年一季度末最终定案Wi-Fi 7标准规范。这一全新的标准引入了多项新技术,可以大大提升数据传输速率并降低时延,为沉浸式AR/VR等新兴技术提供更好的支持。据介绍,Wi-Fi 7的速度可高达30Gbps,是Wi-Fi 6速率的三倍,同时引入了CMU-MIMO技术,最多可支持16条数据流。此外,Wi-Fi 7新增支持6GHz频段,并且三个频段能同时工作。Wi-Fi联盟表示,Wi-Fi是无数复杂用例的基础连接技术,依赖于Wi-Fi来提供高数据吞吐量和低延迟,而沉浸式AR/VR、社交游戏和需要实时功能的工业应用等场景都需要高容量的Wi-Fi连接。已有一系列厂商发布了Wi-Fi 7相关解决方案,例如高通发布的FastConnect 7800,可实现高峰值速度和低时延,适用于支持新一代的无线XR应用。
Wi-Fi 7 标规2024年Q1定案,高速率低延迟为无线AR/VR提供支持

三星显示重组“A”业务团队,争进入苹果XR设备主要屏幕供应商

韩媒引述消息人士称,三星旗下的Samsung Display已经重组了负责开发符合苹果要求和标准的显示技术的“A”业务团队,目标是成为苹果XR设备的主要屏幕供应商。目前,苹果Vision Pro的屏幕供应商是索尼,但有传闻称三星和LG有意进入苹果供应链。报道称,重组的重点是瞄准未来的发展,为了团队的增长,必须寻找新的动力,其中一个方向就是XR。此前,韩媒ET News报道,三星已经制定了元宇宙战略,旨在构建一个以三星为中心的XR生态系统,涵盖元宇宙、软件、内容和硬件等方面。对于“A”业务团队的重组,三星的目标之一是成为苹果XR设备的主要屏幕供应商。报道还表示,三星的微型显示器团队将在商业化前一阶段进行研发,并在2022年底启动了名为“Project M”的开发微型显示器的项目,并积极探索硅基OLED和硅基LED等先进显示技术。
三星显示重组“A”业务团队,争进入苹果XR设备主要屏幕供应商

一览Vision Pro带有环境空间声音的3D空间背景

苹果的Vision Pro头显可以切换至全虚拟现实,并允许用户选择一个环境作为空间背景。根据首个beta版本的visionOS,目前有12个环境供用户选择。之前有一位Twitter用户分享了其中一个空间背景的演示视频,但只有34秒且没有声音。现在,该用户发出了一个9分钟的视频,展示了8个空间背景环境,并带有环境空间声音。视频中展示的环境包括约书亚树国家公园、约塞米蒂国家公园、晨光、春天之光、夏日之光、秋日之光、冬日之光和胡德山等。这些环境的特点分别是巨石、岩石山丘、冬日新雪、明亮的色彩和欢快的小鸟、丰富的色彩和海浪声、冰雪蓝色的冬天和山顶上的湖泊等。虽然普通消费者目前无法亲身体验Vision Pro头显,但随着产品上市,苹果将在门店提供相关的演示介绍。
一览Vision Pro带有环境空间声音的3D空间背景

iOS 17.2推出,iPhone 15 Pro系列开始支持空间视频录制

苹果公司宣布,通过iOS 17.2发布后,iPhone 15 Pro和iPhone 15 Pro Max用户将可以使用全新功能开始录制空间视频。这项创新功能旨在捕捉生活中宝贵的时刻,并通过Apple Vision Pro回顾温馨回忆。苹果表示,iPhone 15 Pro和iPhone 15 Pro Max搭载了迄今为止最强大的摄像头系统,可以呈现出卓越的视频质量。用户只需要在设置中启用空间视频,然后使用iPhone 15 Pro和iPhone 15 Pro Max的先进摄像头系统以三维形式记录自己喜爱的时刻。空间视频的拍摄规格为1080p、30帧/秒,采用标准动态范围。苹果还提到,依托先进的计算视频拍摄技术和HEVC压缩,iPhone 15 Pro和iPhone 15 Pro Max可以以小巧的文件大小展现令人叹为观止、极富空间感的回忆。用户可以在照片app的全新“空间”相簿中找到所有空间视频,并通过iCloud在所有设备上同步。而在Apple Vision Pro中,空间视频将变得栩栩如生,用户可以以原始尺寸观看视频并享受沉浸式体验。
iOS 17.2推出,iPhone 15 Pro系列开始支持空间视频录制

Valve专利提出用于AR/VR头显的偏振多路复用光学元件

美国知名游戏开发商Valve提出了一项名为“Polarization-multiplexed optics for head-mounted display systems”的专利,旨在解决在头显显示系统中设计整个视场范围内或所需波长提供可接受校正的衍射光学元件的难题。该专利利用了偏振多路复用光学元件和眼动追踪技术,通过根据视场部分或颜色对来自光源的光进行偏振,实现对较小视场的优化以及更窄波长范围的优化。同时,通过空间变化偏振器可以实现对光的偏振相位和延迟的调整,从而在用户当前注视的区域或视场中提供优化的性能。此外,该专利还涉及扫描波束显示系统和增强现实系统中的应用。Valve认为,利用空间变化偏振器可以为光学系统的设计师提供更多自由度,以提升系统性能和效率。此项专利申请最初于2023年7月提交,目前正在等待审查。
Valve专利提出用于AR/VR头显的偏振多路复用光学元件

微软AR/VR专利探索重大挑战的高场速率显示器重投影

FSC(Field-Sequential Color)是一种高场速率显示技术,能够在较低的功耗下实现更高的空间分辨率。微软认为这种显示器非常适合XR头显中的微型显示器。重投影是AR设备中常用的显示全息图的过程,用于减少头显视点与渲染图像视点的不一致。微软在一项名为“Reprojection for high field rate displays”的专利申请中介绍了适用于高场速率显示器的重投影方法。由于高场速率显示器需要在非常短的时间内进行重新投影,因此存在对功耗的限制。微软指出使用两阶段方法可以实现高质量的重投影。早期阶段的重投影使用较低的速率,可以采用更复杂的处理方法来校正姿态误差。后期阶段的重投影则在场速率下操作,使用更新的姿态信息进行微小的调整。通过结合早期和后期重投影,可以减少延迟和颜色分离伪影,提高显示效果。该专利还介绍了使用图像转换和像素偏移调整来生成更新的图像的方法。该方法可以在高场速率显示器下实现高质量的图像显示。
微软AR/VR专利探索重大挑战的高场速率显示器重投影

马萨诸塞大学研究员将反应时间作为AR/VR临场感测量工具

临场感是人对计算机系统创造和显示出来的虚拟环境的感觉和认识。马萨诸塞大学阿默斯特分校的研究人员首次将反应时间确定为一种潜在的临场感测量工具。他们通过一系列实验发现,反应时间慢表明临场感度低,反应时间高表明临场感度高。研究人员在混合现实场景中操纵了数字元素的真实性来操纵临场感,并发现实验被试对真实水果的反应比对卡通食物的反应要快。此外,位置错觉和合理性错觉也会影响临场感。反应时间的测量可以突出虚拟元素是作为工具还是干扰的作用。研究团队认为,如果一个人感觉不到临场感,他们就会观察周围的环境,他们对感知的认知专注于手头任务以外的事情。他们强调人类的复杂性,认为最好的场景并不适用于所有人,因为不同的人有不同的身体、不同的身体移动方式和不同的感知方式。
马萨诸塞大学研究员将反应时间作为AR/VR临场感测量工具