Nweon

nweon 文章

美国NFL海鹰队新秀称,将引入VR训练提升赛场决策能力

西雅图海鹰队的新秀四分卫杰伦·米罗将虚拟现实(VR)技术纳入训练,以提升自己的表现。他受到华盛顿指挥官队杰登·丹尼尔斯的影响,后者在前赛季中利用VR技术取得显著进步。丹尼尔斯在使用德国公司Cognilize开发的VR训练应用后,成功带领球队从底部进入季后赛,并将自身的快速进步归功于这一沉浸式训练方法。丹尼尔斯表示,VR模拟帮助他在比赛时感到更加从容,能够更好应对场上的各种情况。
美国NFL海鹰队新秀称,将引入VR训练提升赛场决策能力

XR日报:Steam平台PICO份额月增1.01%,PICO创新工具赋能机器人、AI等开发者

PICO推出SecureMR框架解决XR设备在AI场景理解中的隐私问题,通过安全运行的机器学习模型保护数据隐私。美国西北大学团队开发文本到3D生成框架,实现高保真3D对象与物理运动生成。索尼申请智能眼镜专利,通过用户头部运动评估精神分裂症症状。谷歌创新透镜组技术调节XR设备的虚拟内容深度。中国科学技术大学推出T-SVG系统,简化立体视频制作。北京大学与字节跳动团队的OmniDrag方法提升沉浸式全向视频控制精度。此外,PICO展示开发者工具,新VR游戏《Gorilla Tag》推出PvE模式,Fireproof Games推出《Ghost Town》免费试玩版。ArborXR收购InformXR,推出分析套件解决企业VR培训数据问题。
XR日报:Steam平台PICO份额月增1.01%,PICO创新工具赋能机器人、AI等开发者

研究员分享基于混合2D-3D高斯溅射的几何精确高保真头部Avatar重建

中国科学院及多所高校团队提出了一种名为MixedGaussianAvatar的新方法,用于高保真、几何精准的三维Avatar重建。该方法结合了2D高斯和3D高斯技术,利用2D高斯保持几何精度,同时在渲染质量不足的区域引入3D高斯进行色彩校正。通过渐进式训练策略,先训练2D高斯,后微调混合函数,实现了动态三维表示。这一创新方案在网格重建和纹理渲染方面展示了优异性能,为XR领域的Avatar重建设立了新标准。
研究员分享基于混合2D-3D高斯溅射的几何精确高保真头部Avatar重建

西北大学提出基于物理的文本到3D高斯飞溅运动生成框架

美国西北大学团队提出了一个创新框架,将文本到3D的生成与物理运动模拟相结合,解决了从低效文本提示生成高保真3D对象及其运动的挑战。该框架利用大型语言模型优化提示,采用三维高斯函数生成具备精确外观和几何结构的3D模型,同时结合基于连续介质力学的变形映射和颜色正则化来模拟真实物理运动。尽管目前无法处理光的交互及支持有限材质,未来研究有望增强其多功能性和真实感,为虚拟现实等应用提供支持。
西北大学提出基于物理的文本到3D高斯飞溅运动生成框架

索尼专利分享智能眼镜基于言语头部运动分析的精神分裂症评估系统

研究表明,人在说话时的头部运动与精神分裂症症状的严重程度相关。精神分裂症患者在讲话时头部运动明显减少。为了改善症状评估,智能眼镜等设备可以用于常规监测。索尼提交了一项专利,描述一种使用声学和运动传感器分析用户语音节奏与头部运动数据的系统,以评估精神分裂症的症状。这种评估装置能够提取与语音相关的运动数据,进而为医疗专业人员提供实时的用户状态评级,以优化患者的生活质量和治疗方案。
索尼专利分享智能眼镜基于言语头部运动分析的精神分裂症评估系统

谷歌专利分享基于双自适应透镜动态调节的XR虚拟内容景深控制系统

谷歌在其专利中提出了一种新型XR设备设计,通过选择性激活眼侧透镜和世界侧透镜,能够动态调整虚拟内容的虚拟深度。这些透镜采用自适应光学元件,以实现灵活的屈光度调整,使虚拟内容在保证用户真实世界对焦的同时,改变其深度。用户可以通过设备的控制器手动调整,或依靠环境感应自动适应不同场景,增强用户的沉浸体验。这项技术为XR行业提供了更为灵活的显示解决方案。
谷歌专利分享基于双自适应透镜动态调节的XR虚拟内容景深控制系统

中科大与Hidream团队提出文本驱动的零样本立体视频生成系统T-SVG

中国科学技术大学与Hidream团队推出了文本驱动的立体视频生成系统T-SVG,解决了立体视频制作的技术挑战。T-SVG使用文本提示生成参考视频,并通过处理计算深度图与3D点云,模拟人类双目视觉,实现自然的立体效果。该系统集成了先进的无需训练技术,提高了制作效率,简化了流程,使非专业人员也能轻松生成立体视频。实验结果显示,T-SVG在视频质量评估方面表现出色,标志着立体视频创作的重要进步并为XR领域的应用提供了广阔潜力。
中科大与Hidream团队提出文本驱动的零样本立体视频生成系统T-SVG

北大、字节团队提出全向图像到视频生成的运动控制方法OmniDrag

随着虚拟现实技术的发展,对沉浸式动态全向视频(ODV)的需求增加。然而,现有的文本到ODV生成方法存在内容不准确的问题。北京大学与字节跳动团队提出了OmniDrag,通过全向控制模块与时间注意层的微调,实现场景级和对象级运动控制。这一方法结合新的球形运动估计器,使得用户可通过简单的拖拽操作生成高质量的ODV。同时,团队还推出了Move360数据集,以解决ODV运动数据的稀缺问题。实验结果显示,OmniDrag在ODV生成中展现了显著的性能优势。
北大、字节团队提出全向图像到视频生成的运动控制方法OmniDrag

PICO在HarvardXR展示创新开发者工具:赋能机器人、AI、3DGS和Web开发者

PICO在HarvardXR 2025大会上展示了一系列创新技术,旨在拓展XR应用领域。主要项目包括XR Robotics Toolkit,支持通过XR操控机器人并提供开源工具;PICO Splat,允许开发者使用Unreal Engine 5渲染3D点云;SecureMR,为混合现实开发提供隐私保护的AI推理方案;和WebSpatial,一种开源跨平台的Web空间化开发框架,降低Web开发者进入XR的门槛。PICO还计划在GitHub开源相关工具和技术文档,鼓励开发者参与社区共建。
PICO在HarvardXR展示创新开发者工具:赋能机器人、AI、3DGS和Web开发者

Passthrough Camera API实验:MR+足球训练

Meta最近开放了Passthrough Camera API,开发者在实验中结合了对象识别和追踪技术,展示了如何将物理足球与数字图形结合,适用于足球训练或小游戏。演示视频显示数字目标可动态投射到真实墙壁,增加训练的趣味性和精准度。该API的质量较高,支持Meta Quest 3和3S,能够实现物理与数字的无缝集成。尽管仍在实验阶段,开发者已进行多样测试,但其延迟及挑战仍需关注。
Passthrough Camera API实验:MR+足球训练