Roadtovr

在Meta Quest平台的最新更新中，手部跟踪已经引入到了《神秘岛》游戏中，取名为“Hands & More”。通过使用Presence平台升级的手部跟踪API，玩家现在可以在Quest上玩《神秘岛》而不需要物理控制器。本文将讨论在《神秘岛》中实现手部跟踪的演变和迭代，特别是在Unreal Engine 4.27.2中增加对其的更多支持。 文章中介绍了Cyan工作室的开发总监Hannah Gamiel，她是最初创作《神秘岛》游戏的团队的成员之一。文章还提到了设计手部跟踪时考虑的因素，以及在游戏中使用“指向”方法进行移动的方式。在传送模式下，玩家可以用手指指向目的地并进行传送。在平滑移动模式下，玩家可以用手指指向某个方向以平滑地移动。 在测试中发现，当食指和中指被手的其他部分遮挡时，手部跟踪可能不太可靠。为了解决这个问题，开发团队对代码进行了调整，添加了一些“偏差因子”来提高移动的稳定性。 未来，团队将继续改进手部跟踪功能，并考虑如何在游戏中更好地利用这一功能。该游戏的最新版本正在开发中，将在不久的将来发布。Engine中对即插即用的手部跟踪支持进行了修改。在转向方面，我们最初使用了指向手势和手腕旋转的组合来指示转向的方向和大小。然而，在舒适度测试中发现了问题，大多数玩家更倾向于将手掌伸直向前，类似于在现实生活中指向物体的方式。为了解决这个问题，我们将转向功能分配给了竖起大拇指的手势，而不是指向手势。 此外，为了避免在玩家与物体交互时发生移动，我们限制了手部在一定范围内的运动。经过多次测试，我们确定最佳位置大约是距离食指指尖骨25厘米的地方。这个距离既能满足在狭小的空间中移动，又能防止意外的玩家移动。 在物体交互方面，我们为手部追踪设计了所有可抓取的交互，例如旋转阀门、打开门、按下按钮等。我们根据之前使用触摸控制器设置的经验进行了调整，并通过判断手指的弯曲程度来触发抓取逻辑。 总之，这些修改旨在提高玩家的舒适度和交互体验，并为手部追踪在虚拟现实游戏中的应用打下基础。《迷霧》使用Quest平台上的手部追踪技术，通过定制的手势交互方式实现了与游戏中的物体、按钮进行交互的功能。当玩家握紧手指时，手部模型会被一个橙色的球体替代，表示手与物体连接。这种交互方式与触控手柄按钮的交互方式略有不同，玩家可以灵活地选择使用不同的手势来按下按钮。在菜单和用户界面交互方面，游戏采用了Meta在Quest平台上使用的交互模式，通过大拇指和食指之间的二指捏合实现。为了向玩家传达关于手部追踪的信息，游戏提供了控制器示意图和相关通知。在Unreal引擎中进行的修改包括增强手势和可信度检测，修复系统手势干扰和提高多平台构建稳定性。这段文本讨论了在使用虚幻引擎构建的项目中，如何实现手部追踪和自定义手势识别。由于某些插件只在Windows和Android上可用，因此在构建其他平台时无法引用该插件的组件。为了解决这个问题，可以在需要时生成和销毁手部追踪组件，并通过C++组件在Oculus手柄上实现这个功能。然而，这可能会造成在除了Quest以外的平台上出现本地化问题。此外，虚幻引擎目前没有内置的全手基于手势识别功能，因此可以在Oculus Hand组件中实现自定义的骨骼旋转检测来推断手势，如指向手势、抓取行为和拇指朝上手势。同时，该文本还提到了在某些情况下手部追踪的稳定性问题，如手指被遮挡时可能会导致跟踪不准确。为了解决这个问题，可以根据具体情况设置手指松弛的门槛，以确保准确判断手势的发生。Hand组件的源代码进行了许多修改，但一些实用函数也进行了修改。其中一个功能是一个实用工具函数，用于获取手部碰撞上与世界空间中的某一点最近的点，并返回最近的骨骼的名称。我们在不同的交互中使用该函数进行输入验证。 值得注意的是，当手指被手的其他部分遮挡时，手部追踪系统的稳定性存在一些问题。无论手的深度如何，将跟踪可靠性提高到手腕骨骼处的一致性最好，因此我们更经常在该位置进行测试。 总结 手部跟踪是游戏中非常强大且易用的增加。对于《Myst》来说，我们试图将其与现有的输入系统结合起来，以避免对整个游戏进行大规模的更改。我们的目标是创造出一种直观且舒适的用户体验，而不是构建一个完全独立的输入系统。 Meta与Unreal Engine配套的分支默认支持手部跟踪，并可以进行引擎修改。然而，为了识别有用的整体手势，需要进行一些修改。我们期待Meta在Unreal中对手部跟踪的支持与Unity中提供的相当。对于习惯于在Unreal中进行基于源代码项目开发的团队，他们可以灵活地使手部跟踪与项目相匹配。 我们很乐意听取对我们流程的意见，并了解是否有兴趣让我们在Unreal上提供类似的系统供大家使用和构建。可以通过info@cyan.com与我们联系，或在Twitter上联系Hannah（@hannahgamiel）。感谢阅读！

本周，Meta发布了一款名为“First Hand”的新演示应用，以展示开发者可以利用该公司的无控制手势跟踪工具构建的体验。虽然无控制手势跟踪功能在Quest上已经存在多年，但控制器仍然是大多数头戴式设备上游戏和应用的主要输入方式。Meta一直在努力推动开发者将手势跟踪作为一种不仅仅是新奇的技术。为此，他们一直在开发工具以便开发者更轻松地利用这一功能。这次发布的“First Hand”是一款专门围绕手势跟踪构建的演示应用，旨在向开发者展示手势跟踪的能力，并可在App Lab免费下载供任何人使用。此外，“First Hand”还是一个开源项目，开发者可以查看其内部代码和借鉴构建自己手势跟踪应用的思路和代码。在该应用的团队中，他们解释了一些关于应用设计的思考，并分享了使用Interaction SDK构建Quest应用的10个技巧。

近日，Meta发布了Quest的v43软件更新，以16:9的宽高比录制视频成为现实。一些Reddit用户还发现了与即将推出的头戴设备Project Cambria相关的设置选项。此前，用户只能以1:1的宽高比录制视频，现在这一限制得到解除，使内容创作者能够更方便地在标准电视屏幕或显示器上分享视频。此外，Meta还加入了眼球追踪和“自然面部表情”等功能，增强了用户体验。虽然Meta并未公布Project Cambria的正式发布日期和价格，但已表示将在今年推出，售价预计将超过800美元。 Meta还通过Quest App Lab和Wi-Fi路由器（AirLink）等功能，方便推出实验性和早期访问内容，并使用户能够通过PC VR游戏进行无线连接。这显示Meta正将注意力集中在提升用户体验的各个方面。 对于VR头戴设备来说，面部和眼球追踪将成为Project Cambria（或称Quest Pro）的主要特点之一。这款高端独立VR头戴设备预计将配备彩色透视相机，能够支持虚拟现实和增强现实任务。 如果对Meta未来的最新技术感兴趣，可以关注相关的文章和报道。

IRL Studios宣布，他们的VR篮球游戏《Gym Class》在由Andreessen Horowitz (简称a16z)领导、参与的Y Combinator孵化器的种子轮融资中筹集到了800万美元。其他投资者包括Founders Inc.、Todd和Rahul的天使基金、Balaji Srinivasan、Zaza Pachulia以及其他一些天使投资者。《Gym Class》在Meta Quest App Lab上名列第二，取得了非常好的用户评分。该游戏在Quest免费游戏排名中也名列前20位，提供了基于物理学的游戏玩法和逼真的篮球体验，最多可与8名在线玩家对战。IRL Studios的使命是构建一个“与现实世界无法区分的数字体育生态系统”。他们计划在2022年秋季正式将《Gym Class》上线到Quest商店。Andreessen Horowitz的合伙人Andrew Chen表示，他们相信游戏、虚拟世界和数字体育将成为新的社交网络，而《Gym Class》标志着数字体育的黎明。他们对这个游戏拥有庞大的受众和机遇充满信心。

一支由英国和巴西人组成的团队最近成功分离了一对连体双胞胎，这次手术被认为是迄今为止最复杂的分离手术之一。感谢虚拟现实技术的应用，手术团队通过模拟和排练手术程序，成功地将这对连体双胞胎分离。这个团队来自英国和巴西两个不同的地方。 这对连体双胞胎名叫伯纳多和阿图尔·利马，他们在三岁时成功分离。手术历时27个小时，约有100名医务人员参与其中，这个过程在巴西里约热内卢进行，由伦敦格雷特奥蒙德街医院指导。 整个手术的规划阶段持续了六个月，其中包括使用双胞胎的CT和MRI扫描创建的模型，并通过虚拟现实头显实现了英国和巴西团队的实时协作。 手术团队领导人诺尔·乌尔·奥瓦斯·杰拉尼博士表示，这种手术在虚拟现实中进行就像登上火星一样困难，这也被认为是目前最困难的手术之一。奥瓦斯博士创立的慈善机构“Gemini Untwined”将这次手术称为历史上最复杂的分离过程之一。 目前，分离后的伯纳多和阿图尔·利马正在良好康复中，将在下个月庆祝他们的第四个生日。

去年6月，Meta通过展示一些不同的原型，展示了他们最新的XR研发成果，旨在证明各种概念的可行性。然而，这些原型并不一定以市场可行性为目标，而是为了展示概念和技术的可能性。例如，最近Meta公布的"Starburst" HDR VR头显原型只是验证了20,000尼特HDR对沉浸感的影响，而并不适用于真正的产品。 然而，Meta在最新的研发消息中表示，他们的下一个原型概念名为"Mirror Lake"，旨在将公司最新的研究成果融入到一个单一头显中，并可能成为未来产品的基础架构。Mirror Lake将包括电子可变焦距透镜、多视角眼球追踪、全息薄饼透镜、先进的透视功能、反向透视功能和激光背光等创新技术。 Mirror Lake的特点包括使用电子可变焦距透镜，消除了头显的视差-调焦矛盾问题；多视角眼球追踪提高眼球追踪的准确性；全息薄饼透镜减小了头显的体积；先进的透视功能使头显的视野更清晰逼真；反向透视将用户的眼睛投射到头显外部供他人观看；激光背光提供更广泛的颜色和更亮的显示屏。 Meta希望Mirror Lake将成为VR视觉体验的"游戏改变者"，但他们也表示这并不意味着它将便宜或容易实现。Meta Reality Labs展示了许多XR技术的原型，其中包括了反身湖（Inverse Haptics）。反身湖是一个具备实际应用架构的技术，也就是说，它可以在实验室以外成为一个真正的产品基础。Meta首席科学家Abrash表示，反身湖可以展示下一代VR系统可能的完整样貌，但他警告说，只有在构建了头戴设备之后才能对该架构做出最终评估。要实现像反身湖这样的产品进入市场，还需要数年时间。即将推出的Meta头戴设备Project Cambria只具备了反身湖的一小部分功能，而更先进的Holocake 2原型仍然比Meta的反身湖设想落后几步。然而，Meta的CEO Mark Zuckerberg坚称，该公司投入数十亿美元进行XR研发，并非仅仅为了学术研究。他表示，Meta是最认真、最致力于预测VR和AR未来十年发展的公司，他们有计划解决相关问题以取得进展，并且对未来几年将这些技术应用于产品感到兴奋。

CCP Games的科幻战机射击游戏《EVE: Valkyrie》和VR体育游戏《Sparc》的服务器将于2022年8月5日关闭，为这一时代划上句号。《EVE: Valkyrie》作为Oculus Rift和PSVR首批发售游戏之一备受瞩目，因其跨平台多人游戏和高视觉效果而受到好评。该游戏于2016年发售，CCP Games希望通过这款游戏实现其VR产业成熟工作室的梦想。然而，经过多年的更新和开放给非VR玩家进行游戏后，开发商决定关闭《EVE: Valkyrie》和《Sparc》的服务器。CCP Games表示感谢玩家对游戏的支持，并期待EVE Universe系列的下一章。由于VR的使用率低于预期，加上开发商寄望于PC VR的更大成功，关闭这两款游戏的服务器并不令人意外。然而，在Meta的Quest独立设备的帮助下，VR用户群有所增长。不过，在被收购之前，CCP Games预计VR市场将增长两到三倍。最后，我们来观看《EVE: Valkyrie》和《Sparc》的发售预告片，为它们送别。

Meta上调了Quest 2的价格，并增加了其配件的价格。Quest 2的128GB版本和256GB版本的价格分别上涨了33%和25%。大部分官方配件的价格上涨幅度在7%至25%之间，其中包括适配套件、标准面罩、头显线缆、携行箱、精英固定带、更换头带、10W USB-C电源适配器、内置电池精英固定带和替换控制器。不过，Meta直接销售的所有第三方配件的价格没有变化。 Meta表示，调高价格是为了继续投资于突破性研究和新产品开发，以推动VR行业的发展。然而，人们普遍认为，这是Meta为了应对通胀对头显补贴造成的损失而采取的措施之一。 为了缓解一些影响，Meta将其最受欢迎的游戏《Beat Saber》与头显捆绑销售，直到2022年底。这意味着购买《Beat Saber》的用户将可以以更低的价格购买头显。

中国科技巨头小米推出了一款名为米家智能眼镜相机的智能眼镜产品，定位为适合活跃生活方式的产品。该产品类似于Google Glass风格，配有一个单一显示器和两个摄像头，包括一枚5000万像素的主摄像头和一枚800万像素的潜望式摄像头。智能眼镜采用了索尼的Micro OLED显示屏，具有峰值亮度3000尼特和像素密度3281 ppi。眼镜搭载了高通骁龙八核芯片，配备3GB RAM、32GB存储空间、双WiFi和蓝牙5.0，并内置了1020mAh电池。产品的主要定位是记录日常活动的相机眼镜，但外观笨拙、体积较大，可能难以全天佩戴。尽管该产品目前只在中国上市，售价为2499元人民币，在预售期结束后将提价至2699元人民币，但尚不确定是否会在中国以外的市场推出。小米是全球前五大智能手机制造商之一，在欧洲和亚洲地区提供性能竞争力强的手机系列。相较于之前推出的未来智能眼镜概念，这款智能眼镜的体积更大。

据报道，Pico Interactive即将推出一系列新的独立VR头显，计划与Meta竞争，命名为Pico 4和Pico 4 Pro。近日有消息称，一起泄露事件曝光了Pico 4的手柄，从人体工程学的角度来看，这似乎是一个重大的进步。 据AR/VR开发者兼SkarredGhost的编辑Antony Vitillo透露，他在上个月初首次报道了Pico 4的FCC申报，并从社区成员那里获得了手柄图片。从图片中可以看到，按钮布局与Quest非常相似，包括扳机、摇杆和A-B按钮，尽管Pico在某种程度上做了改变。 照片显示，Pico 4手柄似乎通过红外追踪环来光学追踪。与Quest不同的是，环的设计更倾斜，并从顶部连接到设备底部。此外，手柄上还有握持扳机和双系统按钮。 Pico可能对Pico 4抱有很高期望，因为这是他们首次进入Meta（前身为Facebook）的北美市场。考虑到Meta已经提高了Quest 2的价格，Pico在这个领域有很好的机会。目前，Meta在消费级独立头显市场上占据主导地位，并依靠其雄厚财力和市场先驱地位。 然而，与VR相关的一个关键领域几乎总是内容。作为字节跳动的子公司，Pico一直在招聘与其AR/VR内容制作部门Pico Studios相关的职位。如果Pico能吸引更多开发者填补其游戏库，我们可能会看到在中国以外的消费级独立VR市场中，Meta迄今为止的主导地位面临真正的竞争。