Nweon

nweon 文章

Meta研究为Avatar设计合成逼真自然的穿衣服饰效果

Meta团队与卡内基梅隆大学和明尼苏达大学合作,发布了一项名为"Dressing Avatars: Deep Photorealistic Appearance for Physically Simulated Clothing"的研究论文,探索了穿衣Avatar建模的解决方案。他们指出,服饰是自我表达的基本形式,但合成真实感服饰在Avatar建模中仍然是一个挑战。目前的研究主要集中在服饰模拟和基于真实世界捕捉的方法,但都存在一些限制。Meta团队的解决思路是将基于物理的服饰模拟与Avatar建模结合,实现照片真实感的动画化。他们开发了一个由三个模块组成的动画管道,包括底层身体Avatar模型、基于物理的服饰模拟和服饰外观模型。通过训练和测试,他们证明了该方法能够实现高保真的动态服饰和照片级真实感外观。然而,该方法仍然存在一些局限性,特别是在处理宽松服饰和复杂手势交互时的挑战。尽管如此,该研究为照片级真实感Avatar的穿着开辟了新的可能性。
Meta研究为Avatar设计合成逼真自然的穿衣服饰效果

加拿大开发基于HoloLens 2的工业头盔,提高矿工井下作业安全性

加拿大剑智学院和NSS Canada正在开发一种基于微软HoloLens 2的工业头盔,以提高矿工的井下作业安全性。该工具允许矿工在远离高危地下区域的同时操作设备。这项技术创新将有助于缓解劳动力短缺。团队计划将MOSS(Miner-Operated Survey System)矿工作业测量系统整合到微软HoloLens 2中,使矿工能够远离高危区域并在视野中进行测量作业。通过这种方式,矿工的工作安全将大大提高。佩戴基于微软HoloLens 2的头盔可以直接投射信息到用户视野,并允许使用手势进行操作,相比传统的测量方法,这种方法更高效、更精确、更安全。虽然该技术非常有用,但设计必须符合行业标准,并允许安全设备自由活动。该项目预计在两个月内完成原型,并计划在明年年初上市销售。
加拿大开发基于HoloLens 2的工业头盔,提高矿工井下作业安全性

西班牙电信与高通合作,基于骁龙Spaces XR开发者平台发展XR生态

西班牙电信和高通达成合作,共同利用高通的骁龙Spaces XR开发者平台和西班牙电信的网络基础设施来开发和发展XR生态系统。双方的合作还包括探索商业机会以及推出XR/元宇宙产品和服务。西班牙电信表示,将沉浸式设备与Web3技术相结合,这次合作将为客户提供将数字和模拟世界融合,并重新想象元宇宙中商业、娱乐和通信的机会。双方将致力于将骁龙Spaces纳入西班牙电信创新和人才中心的计划中,以帮助发展骁龙Spaces生态系统,并促进XR新品和服务的开发。西班牙电信强调了XR对于数字世界和现实世界的重要性,表示他们正在为未来做准备,并与高通合作推动新兴XR生态系统的增长。高通表示,XR将重新定义生活、工作和社交方式,在这个关键时刻,他们非常高兴与西班牙电信合作,共同开发未来的生态系统,释放XR的力量并将其提升到一个全新的水平。
西班牙电信与高通合作,基于骁龙Spaces XR开发者平台发展XR生态

PICO 4发布会信息汇总:致力开启国内VR大众化之路

PICO在国内发布会上正式公布了PICO 4的国内售价及开售渠道等相关信息。PICO 4搭载高通骁龙XR2处理器,售价人民币2499元起。PICO 4采用了Pancake光学方案,头显更加轻盈小巧,重量仅为295g。PICO 4搭载4K+超视感屏,刷新率为90Hz,视场达105度。PICO 4还能实现亚毫米级的追踪定位精度和毫秒级的响应速度。PICO还宣布将推出PICO体感追踪器,售价199元。PICO正不断扩充内容体验,包括与流媒体平台合作的海量视频、直播、演唱会等娱乐内容,以及一系列大作内容,如《Just Dance VR》、《The Walking Dead: Saints & Sinners Chapter 2: Retribution》等。PICO还与莱美合作推出VR版搏击课程,并与Les Mills和超级猩猩合作打造丰富的健身课程。PICO还与德国健身网红帕梅拉合作推出VR健身内容。PICO还在软件方面进行了优化,推出全新操作系统PICO OS 5.0。 PICO还与Discovery频道合作推出沉浸式探险类节目,包括与德爷合作的非洲国家公园探险等。
PICO 4发布会信息汇总:致力开启国内VR大众化之路

Cocos发布XR开发工具Cocos CreatorXR首个正式版本

Cocos引擎团队发布了XR内容创作工具Cocos CreatorXR的首个正式版本。Cocos CreatorXR是基于Cocos Creator和Cocos Engine开发的一款XR内容创作工具,支持OpenXR标准协议,并可以一站式进行XR项目内容创作开发。它还支持将存量3D游戏项目一键转换为XR项目,并轻松打包发布到设备。该工具可以部署到多个XR平台,包括Rokid Air、Meta Quest 2、Huawei VR Glass、PICO Neo 3和Monado等。此外,XR设备厂商可以利用插件的功能组件来定制各自设备对应的Cocos Creator的SDK,从而减少开发工作量。Cocos CreatorXR的主要功能包括设备映射、交互组件、运动组件、XRUI、主流XR SDK标准化、图形后端智能化和Web预览等。通过基于Web的预览功能,用户无需XR设备也能体验XR功能。
Cocos发布XR开发工具Cocos CreatorXR首个正式版本

谷歌3D模型工程师分享:关于glTF的色彩精度

交互式3D模型是图像和视频之后的下一种媒体类型。为了确保3D模型的准确性和逼真度,需要一个质量保证过程。GlTF是一种指定基于物理的渲染的3D模型格式,它定义了光在物理方面如何反射和折射的材质属性。虽然不同的渲染器之间可能存在权衡,但使用GlTF可以保证在不同的渲染器中呈现一致性。然而,要确保模型的准确表示,需要考虑到色彩精度。色彩精度包括准确度和感知性,通常使用基色和色调映射来验证渲染的准确性。在验证渲染时,重要的是考虑到渲染器的照明、材质、曝光和后处理的差异。通过测量和验证材质的属性,以及在不同的照明环境下检查模型的渲染,可以提高模型的准确性和逼真度。然而,最重要的是要记住,色彩和感知是复杂的,没有简单的答案。
谷歌3D模型工程师分享:关于glTF的色彩精度

Meta研究用单个RGB-D传感器生成穿衣人体的高保真渲染图像

芬兰奥卢大学的研究人员与Meta合作,提出了一种名为HVS-Net的新视图合成网络,用于处理人体动态场景中的新视图合成问题。相较于之前的方法,该网络利用紧凑而有效的公式和商品RGB-D传感器生成高保真度的穿衣人体渲染图像。该网络将人的上身和目标camera姿态的单个稀疏RGB-D图像作为输入,通过使用深度作为额外的输入流,简化了新视图的合成。此外,为了处理严重遮挡的情况,研究人员还引入了HD-IUV模块,用于估计将人的RGB图像映射到身体模板的表示,并通过将目标camera视图中的所有可见像素扭曲到人,获得部分扭曲图像。实验结果表明,HVS-Net能够生成高质量、真实的新视图,并能够忠实地捕捉和渲染训练中不存在的面部表情。该方法在合成和真实示例中都实现了高质量的结果。
Meta研究用单个RGB-D传感器生成穿衣人体的高保真渲染图像

谷歌专利分享为AR交互研究肌电腕带设备

Meta(前身为Facebook)一直致力于开发肌电图腕带设备,用于支持其首席执行官马克·扎克伯格的元宇宙愿景。与此类似,谷歌也在积极研究肌电图腕带,以用于增强现实(AR)交互。谷歌的解决方案是使用微米分辨率雷达传感器来检测和分类用户手腕的肌肉运动,通过识别手势来操纵虚拟对象。该解决方案有三个优势:体积小、舒适、保护隐私。谷歌的肌电图腕带可以隐藏在硅酮或其他传统频带材料中,并且使用低功率的毫米波辐射。谷歌的专利申请“Hand gesture recognition based on detected wrist muscular movements”已于2021年提交,并且已经得到美国专利商标局的公布。 注:肌电图腕带(EMG wristband)是一种用于检测和测量手腕肌肉电活动的设备,用于识别手势和运动指令。元宇宙(Metaverse)是一种虚拟现实和增强现实技术融合的概念,指代一个虚拟的多维度的世界。增强现实(AR)是一种能够将虚拟对象叠加在真实世界中的技术。毫米波(mmWave)是高频电磁波,具有很高的数据传输速率和较小的传输距离。
谷歌专利分享为AR交互研究肌电腕带设备

研发实战:微软分享如何基于MRTK3构建3D UI交互系统

微软的开源项目Mixed Reality Toolkit(MRTK)旨在帮助开发者利用Unity开发跨平台MR应用。MRTK提供了丰富的组件,包括手和眼追踪、输入、解算器、诊断工具和场景管理等,可以帮助开发者以更少的时间搭载出色的体验。通过MRTK构建的体验可以兼容任何支持OpenXR运行时的设备,如HoloLens和Meta Quest。对于全新的MRTK3,开发者可以选择更轻量级的解决方案,只选择所需的工具包组件,并享受新的交互系统、主题和数据绑定功能、Unity画布支持以及更新的设计语言。此外,MRTK3还支持更容易定位多个设备,如HoloLens、Meta Quest、Windows Mixed Reality和未来支持OpenXR的设备。MRTK3的新的体三维UI系统解决了包括设计、计量、平面世界中的体三维UI和输入等方面的挑战,提供更现代、更稳定和更丰富的用户界面体验。
研发实战:微软分享如何基于MRTK3构建3D UI交互系统

探索星际旅程,《Ghost Signal:A Stellaris Game》将于2023年初登陆Quest 2

知名游戏发行商Paradox Interactive的粉丝们现在有机会在Meta Quest 2上单纯地欣赏浩瀚太空的魅力了。Fast Travel Games宣布,他们将于2023年初推出由Paradox Interactive开发的《Ghost Signal:A Stellaris Game》。在这款游戏中,玩家将扮演船长,踏上前往未知世界的旅程,并体验一系列炫酷的经历,包括星际战争、行星上的生物、外星家园、失落的太空神庙,甚至可能是巨龙。游戏具有随机地图和重新整理的发现,每次旅途都不尽相同,同时还可以通过每日挑战测试队长技能,攀登排行榜。《Ghost Signal:A Stellaris Game》将于2023年初在Meta Quest 2上推出。
探索星际旅程,《Ghost Signal:A Stellaris Game》将于2023年初登陆Quest 2