Insider Insider

Nweon

nweon 文章

从文本生成3D图像,英伟达提出比谷歌更优解决方案Magic3D

谷歌早前推出了一个AI模型Dreamfusion,可以通过文本生成3D图像。然而,英伟达的研究人员认为Dreamfusion存在处理时间长、生成低质量3D模型等局限性。为此,英伟达提出了一个名为Magic3D的解决方案,通过两阶段优化框架来解决这些限制。Magic3D核心依赖于一种根据文本创建图像的图像生成模型,使用稀疏的3D hash grid structure进行加速,并通过高效可微渲染器来优化纹理化的3D网格模型。与Nvidia的Get3D不同,Magic3D不需要稀缺的3D模型进行训练,可以从不同类别生成众多3D模型。Magic3D可以在40分钟内创建高质量的3D网格模型,比Dreamfusion快2倍,用户更喜欢Magic3D。Magic3D还可以执行基于提示的3D网格编辑,允许用户改变生成的模型。英伟达表示,Magic3D为用户提供了控制3D合成的新方法,为各种创意应用开辟了新途径。Magic3D将能加快普及3D合成,并促进游戏和VR行业的发展。
从文本生成3D图像,英伟达提出比谷歌更优解决方案Magic3D

PICO 4登陆日本,日本ROOX宣布为PICO 4提供定制镜片

映维网在2022年11月22日报道称,日本电子配件商ROOX宣布将为PICO 4用户提供定制镜片服务,以解决由于VR头显尺寸问题导致的不舒适体验。这项服务将于2022年11月21日开始受理,价格从6880日元至10180日元不等,校正范围包括近视和散光。ROOX认为眼镜在日本的使用率超过50%,因此眼镜成为了AR/VR技术普及的一大障碍。他们早在Meta Quest 2推出时就提供了定制镜片服务,并在2022年5月开始为Meta Quest 2用户提供服务。ROOX表示,用户只需在他们的网页上输入相关的视力信息和定制要求,下单后,团队将在10至14天内发货定制镜片。
PICO 4登陆日本,日本ROOX宣布为PICO 4提供定制镜片

PICO Unreal Engine OpenXR插件已发布

Unreal 5版本于2022年11月22日正式推出,其中的两项亮点功能Nanite和Lumen已经支持XR。近日,PICO发布了支持Unreal Engine OpenXR插件的PICO OpenXR插件,使用此插件可以在PICO Neo3和PICO 4上构建逼真的XR应用程序。插件支持开发64位应用,仅支持Vulkan,暂不支持眼动追踪和手部追踪。安装插件需要先安装Epic Games Launher并安装Unreal引擎的4.27或5.0版本。启动Unreal引擎后,新建项目并进行配置,然后手动启用PICO OpenXR插件。在配置按键输入和开发XR应用方面,可以参考相关的官方文档。最后,应用开发完成后,可以打包并安装到设备上运行。
PICO Unreal Engine OpenXR插件已发布

只有钞能力?Meta反垄断辩护自称没从零开发VR App的经验

美国联邦贸易委员会(FTC)早前正式对Meta就其收购Within公司的VR健身应用《Supernatural》进行了反垄断起诉。FTC认为,如果Meta成功收购Within,将会大大减少VR健身市场的竞争,可能形成垄断。根据最近公开的法庭文件,Meta承认自身基本没有从零开发VR应用的经验,并且不具备开发健身应用或创建健身品牌的能力,大多数第一方VR应用都是通过收购所得并进行优化。Meta的律师表示,Meta讨论过从零开发VR健身应用的想法,但由于缺乏经验和能力,最终否决了这一想法。 Meta在VR应用方面取得成功的主要原因是帮助初创团队实现提升和扩展,因此决定支持具有出色技术和高质量体验的《Supernatural》及其团队。Meta的律师表示,通过收购Within,Meta可以进一步优化应用,促使其他开发商入局,从而发展整体VR市场,并帮助VR健身行业的发展。同时,Meta表示收购Within后,他们将帮助Quest硬件团队优化VR健身用例,并开发相关支持技术,平等造福所有VR健身应用开发者。近年来,Meta以收购他人作为创新的方式,引起社区的嘲笑。目前,Meta和FTC的交锋仍在进行中,法庭尚未作出最终宣判。
只有钞能力?Meta反垄断辩护自称没从零开发VR App的经验

阿联酋展示appQlar基于HoloLens 2开发的全息医疗保健应用VSI HoloMedicine

阿联酋电信运营商du将与微软和apoQlar合作,在阿联酋展示微软HoloLens 2开发的全息医疗保健应用VSI HoloMedicine。VSI HoloMedicine是apoQlar开发的经过医学认证的混合现实平台,利用HoloLens 2将医学图像、临床工作流程和医学教育转换为3D混合现实环境。VSI HoloMedicine具有手术计划和模拟、远程医疗援助、外科培训指南、患者教育、有意义的医疗合作和灵活的虚拟显示器等特点。该合作旨在推动混合现实技术在外科护理和医学教育中的应用,并促进阿联酋的数字化转型目标。阿联酋du表示,与微软和apoQlar的合作将进一步探索医疗保健领域的技术潜力。微软阿联酋表示,混合现实等新技术正在支持全球医疗保健提供商以全新的方式扩展和应对挑战和治疗,他们很高兴通过技术和基础设施为提高医疗保健效率做出贡献。
阿联酋展示appQlar基于HoloLens 2开发的全息医疗保健应用VSI HoloMedicine

易游实景推出更好用的线上实景导览平台-易游360

易游实景科技于2022年11月推出了全景视频处理、编辑和分发于一体的线上全流程应用平台——易游360。该平台能够在漫游场景中将真实的路径效果360°展示出来,使场景动线更加明晰。易游360提供易学易用的在线编辑工具和可视化操作平台,只需要千元级的全景相机就可以快速制作出符合商用标准的线上全景漫游空间,并具备实景导航的功能,通过互联网链接分享观看。 易游360的产品功能特点包括学习简单易上手、拍摄门槛低、导览路径编辑器简洁易上手、独立后台管理系统和实时数据管理功能。这种平台化应用能够赋能商业空间快速数字化升级。 易游360实景全景导览具备漫游和全景的特点,提供全路径连续展示模式,带来真实的实景漫游效果,完整还原场景的动线、方位和路线等空间信息。 易游360的核心功能卖点是基于实景地图的导航导览功能,通过扫码定位和自动最优寻路的方式,产生真人带路的导览效果。这种方式适用于园区景区、展馆场馆、商超大厅等商业空间的运营场景。
易游实景推出更好用的线上实景导览平台-易游360

NOLO携手移动云VR邀您一起“换个方式打开世界杯”

2022年卡塔尔世界杯将于北京时间11月21日开始。作为移动云VR世界杯的技术合作伙伴,NOLO将与移动云VR合作,提供多人在线观赛和实时互动功能,打造足球狂欢氛围。通过云渲染和VR互动化技术,用户可以以数字人模式进行多人互动观赛,并结合泡泡弹幕等轻交互方式。此外,NOLO还推出了虚拟观赛舱,提供4K巨幕观赛体验,并与中国移动合作推出首款云VR一体机CM1。同时,在赛事期间,NOLO还将在多个城市设立线下观赛场所,并设立VR观赛区。此外,NOLO还将提供论坛上线话题互动和社区竞猜等互动内容,用户可以预测比赛结果并有机会赢取奖金。整个活动将从11月21日持续到12月18日。
NOLO携手移动云VR邀您一起“换个方式打开世界杯”

Meta公开招募VP职级AR/VR芯片负责人,领头所有芯片项目

Meta正在寻找一位全新的芯片自研项目负责人,该职位将领导所有的芯片相关计划。Meta一直致力于打造一个完整独立的生态系统,想象苹果一样增强对供应链的控制,并希望通过自研项目来优化AR/VR设备。2018年,Meta挖来了谷歌的芯片产品负责人沙赫里阿尔·瑞比,并任命他为芯片自研项目负责人,负责构建支持增强现实和虚拟现实的芯片。Meta表明,芯片团队将专注于提高AR和VR系统的处理能力和降低功耗。然而,Meta的自研芯片项目进展缓慢,导致他们不得不继续与高通合作。目前尚不清楚Meta是否因为不满意研发进度或成果选择寻找新的负责人。然而,对于Meta来说,寻找新的芯片自研项目负责人表明他们仍然希望投入资源来支持芯片自研,并打造专为AR/VR元宇宙优化的芯片。即使Reality Labs在业务上亏损,马克·扎克伯格表示会进一步加大对Reality Labs的投资力度。
Meta公开招募VP职级AR/VR芯片负责人,领头所有芯片项目

研究员探索通过腕带设备进行全身姿态追踪

美国康奈尔大学和上海交通大学的研究人员开发了一款名为BodyTrak的腕带设备,可以通过深度神经网络实时追踪用户的全身姿态。这是目前市面上首款用单摄像头追踪全身姿态的可穿戴设备。研究团队认为这种技术可以整合到商业智能手表等腕带设备中,以提供实时反馈和理解用户姿态,方便而实惠,同时不限制用户的移动。BodyTrak腕带设备搭载了一个硬币大小的摄像头,并使用定制的深度神经网络来精确填充摄像头未捕获的身体部位图像。研究人员对9名被试进行实验,结果表明,系统仅使用微型摄像头就可以推断出全身姿势,平均误差为6.9cm。研究团队指出,BodyTrak不需要完整捕获身体图像,只需捕获部分图像即可推断出整个身体姿态。他们还表示,该设计可以减轻旁观者的隐私担忧,因为摄像头只采集用户自己的身体图像。虽然目前设备体积较大,智能手表无法支持足够小或强大的摄像头和续航,但随着技术的不断进步,未来有望通过腕带设备实时追踪用户的全身姿态。
研究员探索通过腕带设备进行全身姿态追踪

Meta发布多个示例展示Quest Movement SDK身体追踪灵活性

Meta最近在Github上发布了一个新的示例,展示了Movement SDK在不同用例中的灵活性。Movement SDK由眼动追踪、面部追踪和三点身体追踪功能组成,通过这些功能可以构建更加临场的VR体验。眼动追踪和面部追踪功能是通过头显内的红外传感器和机器学习模型来实现的,可以实时模拟面部动作并使虚拟角色看起来更加真实。除了社交临在外,开发者还可以通过估计用户在VR中的视线来构建交互和体验。Meta表示,他们从一开始就考虑到了隐私问题,并强调开发者和Meta无法访问用户眼睛和面部图像。此外,Movement SDK还包括Body Tracking API,可以使用三点追踪来模拟身体动作,以增强社交体验。该API适用于Quest Pro和Quest2,并将来支持未来的Meta设备。现在,开发者可以利用Movement SDK构建利用这些新功能的应用程序。
Meta发布多个示例展示Quest Movement SDK身体追踪灵活性