Nweon

Niantic旗下的8th Wall最近推出了一项新的Web AR手部追踪技术。该技术可以让开发者、品牌和代理机构构建沉浸式的WebAR体验，以手部、手腕和手指作为输入方式。名为8th Wall Hand Tracking的手部追踪允许开发者创建能够融合手、手腕和手指的WebAR体验。开发者可以通过数十个附着点、自适应手部网格和摄像头像素来平滑皮肤，微调每个体验。附着点分布在手指、指关节、手腕和手掌上，每个手指包含多达7个附着点，从而允许开发者控制附着在手上物品的位置和旋转。自适应手部网格可以动态创建个性化网格，使物体能够适当地附着在用户的手上。该技术可以用于沉浸式交互、虚拟配饰试戴等一系列应用场景，包括游戏和教育体验。由于8th Wall Hand Tracking是为浏览器构建的，开发者可以通过利用开放网络的力量来增强体验，比如与实时API对接、显示准确的当地时间、整合实时视频或纹理等。

软件开发商SB22与PICO达成合作伙伴关系，双方将联合开发结合SB22的创新VR22平台和PICO头显设备的下一代娱乐体验。团队将利用SB22在沉浸式和交互式体育娱乐方面的能力，以及PICO卓越的硬件和技术能力，重新定义用户参与VR内容的方式。SB22和PICO将专注于开发满足体育爱好者、游戏爱好者和娱乐爱好者需求的最先进VR娱乐体验，提供真实感、交互性和沉浸感，让用户感觉身临其境。SB22表示他们将通过结合交互时体育娱乐的专业知识和PICO行业领先技术，提供前所未有的VR体验，吸引用户。而PICO表示相信虚拟现实有能力改变人们消费娱乐的方式，通过与VR体育娱乐先驱SB22合作，能够突破VR领域的界限，为用户带来无与伦比的体验。

苹果发布了visionOS beta 2 SDK的测试版本。开发者可以通过Xcode 15 beta 5访问该版本。新功能包括引入Apple Vision Pro时的自动显示调整、强制退出应用程序的方法、快速重新注册眼或手跟踪的方法等。此外，还修复了一些问题，包括解决了在从iCloud备份或软件更新恢复设备时导致虚拟键盘不可用的问题，解决了VoiceOver光标显示问题，解决了使用VoiceOver时无法跳过瞳孔间距调整的问题，解决了一些兼容性问题，解决了Optic ID问题等。 对于暂时无法获取开发套件的开发者，尽管无法在Vision Pro下载beta测试版，但可以通过Xcode进行体验，利用Xcode、SwiftUI、RealityKit、ARKit和TestFlight等基础框架构建全新的空间计算体验，并通过visionOS Simulator模拟与app交互，探索和测试多种房间布局和光线条件。详细的版本说明可以访问相关页面。

Meta最近发布了Platform Integrity Attestation API（Attestation API），这是一种新的防滥用解决方案，旨在保护应用程序免受未经授权的修改和潜在的安全漏洞。该API检测应用程序的服务器是否与未屏蔽的VR设备交互，并确保应用程序的可信性。随着Meta Quest生态系统的发展，验证应用程序完整性的一致方法变得越来越重要，以提供安全可靠的用户体验。因此，Meta希望通过Attestation API为各种安全相关用例提供简单的解决方案，包括保护设备身份验证、基于硬件的应用程序禁令、保护财务和企业应用程序数据、防止外部数据滥用和反盗版。Attestation API是一个通用、灵活和稳健的安全解决方案，用于验证应用程序运行的固件和操作系统的完整性。集成后，API会提供一个“证明令牌”，用于确定在Meta设备上运行的应用程序是否被篡改。认证服务器会对令牌进行加密签名，以增强认证过程的安全性和可靠性。可以使用Trust on First Use（TOFU）的身份验证函数来运行API，并在特定时间点获取认证令牌，并在整个会话中本地缓存它。认证服务器验证令牌，并将验证结果发送回应用服务器。如果令牌验证成功，服务器会为应用客户端提供服务请求，否则会发送错误消息。

微软公司已提交一项名为“利用机器学习解释谐振传感器数据”的专利申请，介绍了一种通过谐振式电感-电容传感器和机器学习方法识别面部表情的方法。该技术可以取代使用摄像头进行面部追踪，从而减小设备的尺寸、重量、成本和功耗。专利描述了头显设备配置的实施例，其中每个谐振式传感器通过输出信号来识别靠近传感器表面位置的面部表情。谐振传感器通过在天线产生振荡信号并检测靠近传感器表面位置的近场响应来工作，从而允许感测表面相对于传感器的位置发生变化。机器学习函数可以从谐振传感器的输出确定面部表情，并将其用作计算设备的输入，例如用于控制设备功能或映射到虚拟角色。此技术在面部追踪数据的隐私保护方面也具有优势，因为谐振传感器输出的数据可以通过加密模块进行加密处理。在训练过程中，可以使用合成数据来训练机器学习函数，这比使用物理训练数据更有效。

Meta的Unreal分支最近集成了高通的Adreno Offline Compiler（AOC），该编译器可用于分析和优化材质着色器的性能。在以前，Unreal开发者没有离线改进Meta Quest材质着色器的快速迭代方法。但现在，通过AOC，Quest开发者可以轻松访问丰富的着色器统计数据，并大大缩短材质迭代时间。AOC直接在UE5材质编辑器中为不同的着色器提供丰富的统计信息，并支持各种命令行选项，为开发者和游戏引擎提供更大的灵活性。尽管AOC可以帮助分析和优化材质着色器的性能，但在比较材质性能时需要注意材质之间的差异，如流控制、内存访问等因素。关于如何设置环境以及用例的具体细节可以参考介绍文档。虽然AOC集成目前仅支持Meta的Unreal分支，但Meta团队正在与Epic合作将此功能带到Unreal主分支中。Meta表示相信AOC是一个强大的工具，可以帮助开发者分析和优化材质着色器的性能，从而大大减少材质迭代时间。

Meta 在其最新版本的 Quest v56 系统中通过 Hand Tracking 2 2 对手部追踪进行了优化，重点是提高手的响应能力。这一优化使得用户体验更接近于使用控制器进行操作，并在典型用例中最多减少了 40% 的延迟，在快速移动中最多减少了 75% 的延迟。此外，团队还进行了其他改进，提高了快节奏游戏的反应速度。Meta 的首席技术官安德鲁·博斯沃思通过 Twitter 补充了关于手部追踪的信息，其中 v56 版本将允许用户同时通过裸手和控制器进行交互。Meta 还通过两个全新的 API 解锁了两种与手部追踪相关的新体验，即手+控制器的同时交互和由控制器驱动的手部姿态。此次更新还使得用户可以无缝切换在裸手交互和控制器交互之间。需要注意的是，这些功能目前只是 Quest Pro 的实验性功能，但预计后续会推出到 Quest 3 等设备上。

苹果公司将于2023年举办Vision Pro开发者实验室活动，并正在招募有兴趣的开发者申请参加。这些实验室将分别设在库比蒂诺、伦敦、慕尼黑、上海、新加坡和东京。任何至少年满18岁的苹果开发者项目或苹果开发者企业项目的现有成员都可以申请参加为期一天的活动。申请人需要使用苹果ID登录并完成请求表单，同时提供应用程序在visionOS模拟器中运行的截图。苹果将优先考虑正在积极开发全新visionOS应用程序的开发者，以及为visionOS增强现有iPad或iOS应用程序的开发者。如果申请通过审批，参与者将被邀请参加实验室活动，在活动中可以亲身体验在Vision Pro上运行的应用程序，并在苹果的支持下优化和测试自己的应用程序。有兴趣参加Vision Pro开发者实验室活动的开发者可以访问相应页面进行申请。

苹果日前开放了Vision Pro开发套件的申请通道，开发者可以通过申请获得实机来帮助他们预备新开发的空间计算应用。申请者需要保证妥善保管和使用设备，并在约定时间归还给苹果，同时需要签署保密协议，不得在公共场所使用设备或对外泄露特定信息。对于获批的开发者，苹果将提供Vision Pro设备，并提供设置、登录设备以及UI设计和开发方面的指导等支持。申请者还需注意保密协议的规定，禁止在公开场合讨论此设备，也不允许家人、朋友或员工访问、查看或操作设备。苹果还将在全球六个城市推出Vision Pro开发者实验室，允许开发者体验Vision Pro运行的visionOS、iPadOS和iOS App，并提供帮助测试和优化App和游戏的支持。

7月23日，PICO成功举办了“闪韵之星邀请赛”。该赛事吸引了众多《闪韵灵境》的明星用户参与。通过PICO体感追踪器，玩家可以全身投入游戏，并实现全身燃动的玩法。自4月份上市以来，《闪韵灵境》受到了广泛的欢迎，不仅为玩家带来了手舞足蹈的交互体验，也让VR游戏开启了全新可能。本次邀请赛的赛制专业且严谨，参与者经过线上海选赛的层层选拔，最终进入线下邀请赛。PICO用户猫纸获得冠军，枯枯和子约分获亚军和季军。为了提升比赛氛围，PICO邀请制谱师和核心玩家为参赛选手介绍比赛规则，并进行全方位解说。此外，比赛也在B站、抖音和PICO端进行了全程同步直播。此次邀请赛彰显了《闪韵灵境》的竞技性和观赏性，展现了其差异化的VR游戏玩法和美学设计。PICO体感追踪器和VR一体机的精准空间标定和动作捕捉技术，让玩家可以与虚拟世界中的角色实时同步，并自由舞动身体。此次邀请赛的成功举办为未来VR游戏的发展提供了新的方向，PICO也将进一步提升全身动作捕捉的追踪精度和灵敏度，并推出更多优质的XR应用。