在本月早些时候的苹果年度开发者大会WWDC 2022期间,该公司向开发者展示了即将推出的用于在iOS设备上构建AR应用的苹果ARKit 6工具包的改进。
虽然苹果尚未透露(甚至没有确认)AR头显的存在,但苹果对AR的重视表现在ARKit上,这是一个用于在iOS设备上构建AR应用的开发者工具包,自2017年以来一直得到改进。
在WWDC 2022期间,苹果发布了最新版本的ARKit 6,该版本提供了核心功能的改进,使开发者能够构建更好的iPhone和iPad的AR应用(最终可能还包括头显)。
图片由苹果提供
在WWDC 2022的“Discover ARKit 6”开发者会议上,苹果ARKit工程师Christian Lipski概述了接下来的工作。
更好的运动捕捉
ARKit包含MotionCapture功能,可跟踪视频画面中的人物,并为开发者提供一个估计人物头部和四肢位置的“骨架”。这使开发者能够创建将增强内容叠加在人物上,或将其相对于人物移动的应用程序(还可用于遮挡,将增强内容放置在某人身后,使其更真实地嵌入场景中)。
Lipski表示,在ARKit 6中,该功能将获得“一整套更新”,包括对2D骨架的改进跟踪,现在可以估计出被拍摄对象的左右耳的位置(这对于面部滤镜、使用AR试戴眼镜和类似涉及头部的功能肯定很有用)。
图片由苹果提供
至于3D骨架,它提供了深度的姿势估计,苹果承诺在用户被摄像机边缘或其他物体遮挡时,可以更好地进行跟踪,减少抖动,提供更多的时间一致性和鲁棒性(尽管其中一些增强功能仅适用于iPhone 12以上的设备)。
相机访问改进
图片由苹果提供
ARKit 6使开发者在AR应用程序中使用设备相机进行跟踪时能够更好地控制相机。
开发者现在可以在iPhone 11及以上机型和最新的iPad Pro(M1)上实时访问高达4K、30FPS的帧。之前的模式仍然可供开发者使用,该模式使用较低的分辨率但较高的帧率(60FPS)。Lipski表示开发者应谨慎考虑使用哪种模式。4K模式可能更适合专注于预览或录制视频的应用程序(例如虚拟制作应用程序),而较低的分辨率60FPS模式可能更适合需要响应性的应用程序,如游戏。
与AR应用程序期间获得更高视频分辨率类似,开发者现在可以在AR应用程序主动使用相机时拍摄完整分辨率的照片。这意味着他们可以获取一张12MP的图像(至少在iPhone 13上),保存或在其他地方使用。这对于拍摄照片是体验的一部分的AR应用程序非常有用。例如,Lipski表示,用户可以通过应用程序引导拍摄对象的照片,然后将其转换为用于三维模型的摄影测量图。
ARKit 6还为开发者在AR应用程序使用相机时提供了更多控制权。开发者可以根据需要调整白平衡、亮度和焦点,并可以从每个输入帧中读取EXIF数据。
更多位置锚点……位置
图片由苹果提供
ARKit包括可以提供街道级别AR跟踪的LocationAnchors(例如,进行增强现实的转向导航)。苹果正在将此功能扩展到更多城市,现在包括加拿大的温哥华、多伦多和蒙特利尔;日本的福冈、广岛、大阪、京都、名古屋、横滨和东京;以及新加坡。
今年晚些时候,该功能还将进一步扩展到新西兰的奥克兰、以色列的特拉维夫雅法和法国的巴黎。
平面锚点
平面锚点是一种在AR会话期间跟踪平面物体(如桌子、地板和墙壁)的工具。在ARKit 6之前,平面锚点的原点会随着发现更多平面而更新(例如,通过移动设备来揭示更多平面)…相较于相机先前所见的表面,ARKit 6 可以保持原点(对象的位置和方向)的旋转不变,即使在初始放置后,表面的形状发生改变也能难以锁定增强物体的位置。ARKit 6 将随 iOS 16 更新一同推出,目前已经在开发者测试版中可用,预计今年秋季对公众发布。
0