Insider Insider

Nweon

nweon 文章

西北大学提出基于物理的文本到3D高斯飞溅运动生成框架

美国西北大学团队提出了一个创新框架,将文本到3D的生成与物理运动模拟相结合,解决了从低效文本提示生成高保真3D对象及其运动的挑战。该框架利用大型语言模型优化提示,采用三维高斯函数生成具备精确外观和几何结构的3D模型,同时结合基于连续介质力学的变形映射和颜色正则化来模拟真实物理运动。尽管目前无法处理光的交互及支持有限材质,未来研究有望增强其多功能性和真实感,为虚拟现实等应用提供支持。
西北大学提出基于物理的文本到3D高斯飞溅运动生成框架

索尼专利分享智能眼镜基于言语头部运动分析的精神分裂症评估系统

研究表明,人在说话时的头部运动与精神分裂症症状的严重程度相关。精神分裂症患者在讲话时头部运动明显减少。为了改善症状评估,智能眼镜等设备可以用于常规监测。索尼提交了一项专利,描述一种使用声学和运动传感器分析用户语音节奏与头部运动数据的系统,以评估精神分裂症的症状。这种评估装置能够提取与语音相关的运动数据,进而为医疗专业人员提供实时的用户状态评级,以优化患者的生活质量和治疗方案。
索尼专利分享智能眼镜基于言语头部运动分析的精神分裂症评估系统

谷歌专利分享基于双自适应透镜动态调节的XR虚拟内容景深控制系统

谷歌在其专利中提出了一种新型XR设备设计,通过选择性激活眼侧透镜和世界侧透镜,能够动态调整虚拟内容的虚拟深度。这些透镜采用自适应光学元件,以实现灵活的屈光度调整,使虚拟内容在保证用户真实世界对焦的同时,改变其深度。用户可以通过设备的控制器手动调整,或依靠环境感应自动适应不同场景,增强用户的沉浸体验。这项技术为XR行业提供了更为灵活的显示解决方案。
谷歌专利分享基于双自适应透镜动态调节的XR虚拟内容景深控制系统

中科大与Hidream团队提出文本驱动的零样本立体视频生成系统T-SVG

中国科学技术大学与Hidream团队推出了文本驱动的立体视频生成系统T-SVG,解决了立体视频制作的技术挑战。T-SVG使用文本提示生成参考视频,并通过处理计算深度图与3D点云,模拟人类双目视觉,实现自然的立体效果。该系统集成了先进的无需训练技术,提高了制作效率,简化了流程,使非专业人员也能轻松生成立体视频。实验结果显示,T-SVG在视频质量评估方面表现出色,标志着立体视频创作的重要进步并为XR领域的应用提供了广阔潜力。
中科大与Hidream团队提出文本驱动的零样本立体视频生成系统T-SVG

北大、字节团队提出全向图像到视频生成的运动控制方法OmniDrag

随着虚拟现实技术的发展,对沉浸式动态全向视频(ODV)的需求增加。然而,现有的文本到ODV生成方法存在内容不准确的问题。北京大学与字节跳动团队提出了OmniDrag,通过全向控制模块与时间注意层的微调,实现场景级和对象级运动控制。这一方法结合新的球形运动估计器,使得用户可通过简单的拖拽操作生成高质量的ODV。同时,团队还推出了Move360数据集,以解决ODV运动数据的稀缺问题。实验结果显示,OmniDrag在ODV生成中展现了显著的性能优势。
北大、字节团队提出全向图像到视频生成的运动控制方法OmniDrag

PICO在HarvardXR展示创新开发者工具:赋能机器人、AI、3DGS和Web开发者

PICO在HarvardXR 2025大会上展示了一系列创新技术,旨在拓展XR应用领域。主要项目包括XR Robotics Toolkit,支持通过XR操控机器人并提供开源工具;PICO Splat,允许开发者使用Unreal Engine 5渲染3D点云;SecureMR,为混合现实开发提供隐私保护的AI推理方案;和WebSpatial,一种开源跨平台的Web空间化开发框架,降低Web开发者进入XR的门槛。PICO还计划在GitHub开源相关工具和技术文档,鼓励开发者参与社区共建。
PICO在HarvardXR展示创新开发者工具:赋能机器人、AI、3DGS和Web开发者

Passthrough Camera API实验:MR+足球训练

Meta最近开放了Passthrough Camera API,开发者在实验中结合了对象识别和追踪技术,展示了如何将物理足球与数字图形结合,适用于足球训练或小游戏。演示视频显示数字目标可动态投射到真实墙壁,增加训练的趣味性和精准度。该API的质量较高,支持Meta Quest 3和3S,能够实现物理与数字的无缝集成。尽管仍在实验阶段,开发者已进行多样测试,但其延迟及挑战仍需关注。
Passthrough Camera API实验:MR+足球训练

2025年05月05日Quest、Steam最新VR游戏畅销榜

文章介绍了最新的VR游戏畅销榜,包括Steam平台、Meta Quest和Meta Rift的TOP 10游戏。指出Rift Store和Steam是主流PC VR平台,而Meta Quest则是热门的一体式6DoF移动VR平台。同时,畅销游戏列表是实时更新的,括号内显示正在促销的原价。
2025年05月05日Quest、Steam最新VR游戏畅销榜

PICO分享:用SecureMR构建具备隐私保护的AI场景理解MR应用

PICO的刘昀昊提出了SecureMR解决方案,以在XR头显中实现隐私保护的AI场景理解。随着人们对隐私的重视,XR设备未向开发者直接提供摄像头图像,给机器学习和人工智能应用带来挑战。SecureMR允许开发者在安全环境中运行推理模型,确保应用无法访问处理数据。此框架使用张量和算子进行数据处理,并通过流水线组织算子执行,支持场景理解的XR应用开发。开发者可利用提供的工具和示例快速上手,提升应用创新性。

Steam 4月数据:PICO 4份额加1.01%,系当月增幅最大头显

Valve公布的2025年4月份Steam硬件和软件调查数据显示,VR头显用户占比微降至1.74%。其中,Meta Quest 2份额减少至29.84%,首次跌破30%大关。Meta Quest 3和3S份额略有增长,合计达到28.7%。Valve Index也有所下降,降至14.1%。PICO系列头显表现良好,PICO 4增幅最大,达到3.78%。整体来看,Meta的市场份额依旧最高,达68.15%。
Steam 4月数据:PICO 4份额加1.01%,系当月增幅最大头显