逼真面部搞怪表情!Facebook升级VR化身技术Modular Codec Avatars

Facebook的研究机构Facebook Reality Labs(FRL)开展了虚拟化身的研究工作,并致力于实现超越“恐怖谷效应”的效果。FRL的最新研究探索了面部表情支持,在虚拟现实中实现朋友能准确看到对方的搞怪表情。当前大多数虚拟化身都是卡通风格,主要是为了避免“恐怖谷”问题。FRL的“Codec Avatar”项目旨在通过机器学习和计算机视觉创建超逼真的用户复刻,以跨越“恐怖谷效应”。现在FRL的研究人员提出了一个新的解决方案,名为“Modular Codec Avatars”,根据单个面部特征划分任务,通过合成多个不同姿态的最佳匹配来精确呈现面容姿态。这个方法的优势是能够自然灵活地重现新面部表情,而不需要对这些特定表情进行训练。此外,Modular Codec Avatar系统还能消除穿戴头显时的眼睛姿态差异,提高面部的真实感。这种方法具有重建面部的实用性,并可在较少的训练数据下实现更高的表现力。未来,用户可能通过智能手机应用捕捉自己的面部模型,并将其作为虚拟化身的基础。
逼真面部搞怪表情!Facebook升级VR化身技术Modular Codec Avatars

如何在XR中实现与GUI菜单,键盘输入和指向的基本交互

像大多数人一样,我们对人机交互(HMI)的首次接触可能是通过PC的2D图形用户界面(GUI)。最近,HMI已经发展到包括移动设备的控屏传感器所能实现的动作和手势。随着扩展现实(XR)在企业中的普及,HMI正在进入一个全新的时代。XR将用户沉浸在一个具有规模感和深度感的三维环境中,为用户界面带来了全新的可能性和设计考虑因素。与传统的2D GUI相比,XR带来了更大的屏幕空间、更少的遮挡元素干扰和更大的空间任务组织灵活性。XR还增加了一个更接近于现实世界感知的第三维度。这篇博文介绍了在XR中实现与GUI菜单、键盘输入和指向的基本交互的设计考虑因素,并展示了基于骁龙XR2 5G平台的感知技术如何帮助实现这些功能。感知技术包括头部、手部和眼睛的追踪,需要具备鲁棒性、精确度和低功耗。
如何在XR中实现与GUI菜单,键盘输入和指向的基本交互

Facebook的研究人员开发出领先技术的面部重构技术,这样你就可以在虚拟现实中做出滑稽的表情了。

Facebook Reality Labs是Facebook公司的研发部门,专注于实现虚拟现实头像的逼真性,以解决“唐涅瓦利现象”。他们的最新研究旨在支持新颖的面部表情,在虚拟现实中展示用户的搞怪表情。 目前,虚拟现实中使用的头像通常更像卡通人物,以避免唐涅瓦利现象,即当头像接近但不完全接近真人外貌时,人们会感到反感。Facebook Reality Labs的“Codec Avatar”项目通过机器学习和计算机视觉的组合,训练系统模拟用户的真实外貌。然而,面临着不同面部表情的挑战,这可能导致系统出错。 为了解决这个问题,Facebook Reality Labs的研究人员提出了模块化的Codec Avatar系统。该系统将面部表情分解为单个面部特征,通过融合不同姿势中的最佳匹配来合成最准确的表情。这种方法改善了系统重现未经过训练的面部表情的能力,包括搞怪表情。 通过测试,模块化的Codec Avatar系统在处理不同面部特征输入时表现出更好的表现力。这一研究有助于提高虚拟现实头像的逼真性和对用户表情的准确呈现。Avatar研究人员在他们的研究中发现,他们的系统可以产生自然且灵活的面部表情,即使在训练集中从未完整看到过这些表情。他们还发现,模块化编解码器头像系统可以通过消除佩戴头戴显示器时眼部姿势差异的影响,提高面部逼真度。在实际的虚拟现实远程交流中,用户通常不会完全睁开眼睛,因为佩戴头戴设备会产生肌肉压力以及接近眼睛的显示光源的影响。为了解决这个问题,研究人员引入了一个眼睛放大控制旋钮,可以微调眼睛的外观,使之更接近于用户不佩戴头戴设备时的样子。 与以往的方法不同,这个模块化编解码器头像系统是在深度神经网络学习的潜在空间中进行的,可以捕捉到复杂的非线性效应,并产生更逼真的面部动画。此外,该系统所需的训练数据较少,却能达到良好的结果并具有更大的表现力。 虽然在没有脸部扫描设备的情况下,要准确地在虚拟现实中代表任何人仍需时间,但持续的进步使得有一天用户可以通过智能手机应用程序快速捕捉自己的面部模型,并将其作为虚拟头像的基础。

最新资讯Mozilla宣布其Firefox Reality浏览器新版本现已支持PC VR平台

Mozilla的Firefox Reality浏览器已经在多款一体机上运行,并推出了支持WebXR的PC Preview版本,兼容SteamVR头显。该浏览器提供标准2D网页浏览、360视频以及沉浸式内容,且具备与常规Firefox相同的隐私与安全性。用户可通过该浏览器与社交VR中的人聊天,探索3D对象,并获取丰富的沉浸式内容。Mozilla计划扩展Firefox Reality至更多VR平台,并持续更新功能和稳定性。
最新资讯Mozilla宣布其Firefox Reality浏览器新版本现已支持PC VR平台

最新资讯苹果新专利曝光:可直接实现抠像合成的MR头戴设备

近日,美国专利商标局发布了苹果的一项新专利,涉及混合现实显示器。该专利源于苹果于2017年收购的初创公司Vrvana,尽管发明者均为Vrvana的前员工并未加入苹果。专利中定义的色度键控技术可在增强现实头显中实时合成环境与虚拟内容,应用于模拟、游戏和训练等场景。该技术通过低延迟处理,实现高帧速率图像显示,提升沉浸感。此专利申请提交于2020年2月,尚未确定产品上市时间。
最新资讯苹果新专利曝光:可直接实现抠像合成的MR头戴设备

AR香港科技大学研发团队推出无人机全息AR控制系统

香港科技大学的研究人员提出了一种新颖的全息增强现实无人机控制技术,利用HoloLens头显实时生成3D地形图,帮助飞行员更直观地操控无人机。该系统允许用户通过手势和注视点与全息界面交互,以第三人称视角控制无人机。虽然存在带宽限制,3D地图数据的传输效率高于实时视频。研究团队计划在国际智能机器人及系统大会上展示这一创新,将AR与自动无人机结合的可能性。
AR香港科技大学研发团队推出无人机全息AR控制系统

天翼云VR未来星推官  开启5G+VR梦幻之旅

为了吸引更多人参与VR的世界,天翼云将在发布会上启动#小V未来星推官#招募计划,并宣布未来星推官联盟计划,邀请行业伙伴成为5G+VR星推官。同时,天翼云将不断更新VR产品和平台内容,提升用户体验,让更多人领略VR的魅力。活动将在8月13日下午14:00通过天翼云VR APP和快手、抖音直播平台进行,观众可期待签约仪式的具体内容和参与方式。2020年是5G与VR快速发展的重要一年,两者在多个领域的结合促进了VR产业的普及和商用落地。中国电信天翼云VR平台作为重要云内容平台,将推动VR的发展。2020年8月13日,天翼云VR与“VR玩家一号”联合举办线上虚拟签约仪式,吸引粉丝参与,并推行招募计划。此次仪式将首次采用3D虚拟与真人结合的线上直播形式,展现新颖的互动方式,彰显5G时代签约的新模式,共同推动5G+VR娱乐新体验。
天翼云VR未来星推官  开启5G+VR梦幻之旅

20多款XR产品现场展示!2020 Qualcomm XR生态合作伙伴大会报名中…

2020年9月5日,将在江西南昌举行2020 Qualcomm XR生态合作伙伴大会暨第二届XR创新应用挑战赛颁奖典礼。来自XR领域的领先企业和业界专家将会就当前XR技术和应用进行交流,分享成功应用经验,探讨XR产业发展趋势。大会还将设立开发者技术专场、创投专场和Qualcomm XEP项目专场,以促进交流与合作,激发XR领域的技术、应用和模式创新。此外,Qualcomm及其合作伙伴的产品和应用也将在现场展示和演示,展示XR领域的前沿技术和终端创新成果,其中包括第二届Qualcomm XR创新应用挑战赛的优秀获奖作品。大会还设立了12个合作伙伴产品展示区,展示各个合作伙伴的AR/VR产品。参会信息和报名二维码可在文章中查看。
20多款XR产品现场展示!2020 Qualcomm XR生态合作伙伴大会报名中…