Nweon

据The Information报道，苹果最近宣布正在开发包括双腿在内的全身追踪功能，从而为健身应用提供支持。此前有报道称苹果曾为Vision Pro开发全身追踪功能，但由于效果不佳而放弃。然而，彭博社表示苹果依然在积极研发全身追踪功能，并向开发者透露全身追踪功能不会在Vision Pro首发时亮相，但有望通过后续的软件更新推出。全身追踪功能对于VR和MR来说非常重要，可以为社交、游戏以及健身等多个领域提供支持。尽管目前技术尚未成熟，但厂商仍在积极寻求可靠的解决方案。Meta即将推出基于AI的下半身估计功能，而苹果也在积极探索全身追踪技术，并希望通过软件更新实现全身追踪功能的完善。因此，全身追踪功能仍然是XR行业中备受关注和追求的目标之一。

iQ3Connect是一家专注于提供基于Web的XR沉浸式培训和协作解决方案的初创公司。他们最近宣布获得了LG旗下风投NOVA Prime Fund的种子轮融资，具体金额未公布。iQ3Connect的解决方案可以帮助个人、团队和企业在任何VR、AR、PC或移动设备上创建、部署和访问协作和学习沉浸式交互式3D内容。该公司希望将沉浸式3D打造成企业可扩展的工具，并提供培训和体验平台，允许企业快速创建和部署交互式虚拟培训。此外，iQ3Connect还提供了一系列从培训和体验创建到托管和管理的服务。作为投资方，NOVA Prime Fund将加入iQ3Connect的董事会，并表示将帮助该公司推进其使命，帮助企业利用其3D平台和元宇宙进行可持续的培训。iQ3Connect表示，通过他们的技术，客户可以推进创新，使他们的组织更高效、更可持续、更有竞争力。

这篇文章介绍了一家位于联洋广场的超能空间VR体验店，该店主要吸引大学生和孩子们到店内体验VR产品。据店主李洋介绍，周末时来店的主要客户是大学生和孩子，特别是父母带着孩子来体验。该店铺的客流量达到20-30人每天，非常可观。虽然线下VR体验馆在经历了行业起伏和疫情的影响后，许多从业者选择退出，但像李洋这样坚持的从业者仍然在努力运营，并通过提供更好的客户体验来保持店铺的生存。李洋认为，VR体验店的地理位置、商场客流量和交通便利度是进入这个行业的重要考虑因素。他还引入了大朋E4和E3设备来减轻孩子们在玩耍过程中的疲劳感。此外，大朋产品的质量和售后服务得到了店主和顾客的好评。对于线下VR体验馆的从业者来说，提供良好的细节体验以保留客户非常重要。大朋作为国内线下游艺市场份额最高的厂商之一，不断优化其产品以满足用户需求，让从业者和顾客都放心。

近年来，VR直播因其独特的沉浸感和优越的互动性受到了很多直播观众的欢迎。为了降低普通用户VR开播的门槛，抖音与斯莫格SmallRig合作推出了手机VR开播的硬件设备。通过手机搭配鱼眼镜头及配件，用户可以轻松开播，并享受沉浸式的直播体验。为了保证画质和效果，抖音进行了技术优化，包括手机摄像头和鱼眼镜头的组合模式，以实现全景画面的采集，以及高分辨率直播推流和AI技术的应用。抖音的XR品牌PICO上线了VR直播，吸引了大量VR一体机用户成为VR直播间的常客。PICO VR直播不仅丰富了内容类型，还与政务媒体、法院等合作推出了多种直播活动。VR直播在文旅、科普、内容种草等不同场景下展现了独特优势。随着抖音手机VR全景直播功能的开通和硬件技术的普及，VR直播创作者的数量将大幅增加，并且将出现更多具备潜力的VR直播场景。PICO在VR直播领域的努力已经积攒了大量受众，而创作工具的破局和直播创作者的加入将进一步推动VR直播的发展。

眼成像摄像头可以用于智能眼镜和头戴式设备，并支持眼动追踪、虹膜识别和眼睛定位。现有的透镜系统可能会导致摄像头笨重，难以集成到近眼设备中。微软提出了一种使用透镜阵列的眼成像摄像头系统，该系统由多个紧密排列的小型摄像头组成。每个透镜将眼睛的图像聚焦在图像传感器的不同区域，形成子图像阵列。相比传统透镜系统，透镜阵列具有较短的焦距，可以减小摄像头尺寸，更容易集成到小型设备中。透镜阵列可以使用超材料透镜或超表面透镜，它们具有更紧凑的外形和更严格的视场公差。透镜阵列的每个子透镜可以具有不同的景深范围，以实现扩展的景深。使用透镜阵列的眼成像摄像头可以实现更小的尺寸，使其更适合集成到近眼设备中。

苹果最新的visionOS beta版本已经将App Store带到了Vision Pro。这意味着用户现在可以通过Vision Pro访问大量的应用程序和游戏。尽管尚不清楚新版本中包含的所有新功能，但这个更新仅适用于Vision Pro硬件，SDK和模拟器尚未更新。此外，该系统只向特定开发者提供，一般用户无法访问。据社区消息透露，苹果已经将Vision Pro开发机中的App Store作为visionOS开发的一部分，并默认包括所有兼容的iPhone和iPad应用程序。需要注意的是，苹果禁止开发者随意泄露相关情报。

苹果公司在名为“Emotion detection”的专利申请中介绍了一种通过神经网络来帮助估计图像中描述的用户情绪的方法。该发明使用自编码器神经网络来捕获中性和表情面部模型的latent变量表示。这些模型可以离线开发并存储在设备上供运行或实时使用。基于有限的数据样本，可以使用额外的神经网络或统计滤波器来加权第一个神经网络模型的latent变量。该方法可以生成逼真的中立Avatar，并且可以与表情神经网络结合使用，在实时操作中由音频和/或视觉输入驱动，以生成特定个体的逼真Avatar。在训练自编码器时，可以使用图像对中的latent向量来估计图像中描述的情绪，然后使用这些latent向量来训练表情CNN等神经网络来从图像中估计情绪。此外，在专利申请中还介绍了Avatar生成的操作流程和使用条件变量优化模型输出的方法。该专利申请于2023年6月提交，并在最近由美国专利商标局公布。

顺天堂大学医学研究科（神经学）利用微软的MR头显HoloLens 2和Azure Kinect DK，开发了双向3D在线诊疗系统Holomedicine，旨在通过全息人体扫描技术实现在线治疗帕金森病。该系统通过HoloLens 2和Azure Kinect DK捕获医生和患者的动作信息，并以立体的形式显示在对方的设备上，重建了诊疗室的实际感受。团队与日本帕金森病专门设施“PD House”的Sunwells合作进行了实证实验，结果显示Holomedicine的诊疗效果接近于面对面诊疗。研究团队希望通过建立安全稳定的网络环境、改善硬件和应用程序等方面的工作，实现Holomedicine在临床中的实用化。他们还计划与Sunwells合作，在全日本范围内实施这一技术，让无法接受专业医疗的患者获得与面对面诊疗相似的诊疗环境。该项目得到了日本微软的支持。

微软在名为“Head-mounted display alignment assessment”和“Stereo alignment assessment for head-mounted display”的专利申请中提出了一种对齐评估方法，用于解决XR头显图像显示时存在的立体错位问题。该方法通过利用空间调制显示光操作、光学传感器和惯性测量单元（IMU）等组件，评估左右显示光的立体对齐状况，以检测头戴式显示系统中左右显示图像之间的立体不对齐。具体而言，通过测量左右测试光和显示组件的方向、位置变化等因素，来评估不同组件之间的潜在不对齐。该方法有助于提升用户体验，避免立体错位带来的不舒适感和恶心感。该专利申请最初于2022年2月提交，并在2023年10月31日在美国专利商标局公布。

通过沉浸式虚拟现实（VR）技术来提高公众对健康威胁的认知和情景意识是一个重要的研究领域。香港科技大学、卡内基梅隆大学和西交利物浦大学的研究团队进行了相关的研究。他们首先设计了一个有代表性的VR数据故事，并通过用户体验和反馈来确定设计VR数据故事的需求和反馈。根据反馈和深度访谈，研究人员总结了设计VR数据故事的五个考虑因素，包括沉浸式视觉化、故事情境的联系和感知的提高等。然后，他们通过实现这些设计功能构建了一个VR数据故事原型，并进行了一项实验来评估其在提高公众健康威胁情景意识方面的效果。结果表明，具有沉浸式可视化和交互性的VR数据故事可以显著提高参与者的情景意识。此外，研究团队还调查了参与者对故事的感知和交互方式，并发现沉浸式视觉化、多角度和具身交互等设计特征有助于情景感知的提高。研究的结果对于设计更好的VR数据故事以提高公众对健康威胁的认知具有重要参考价值。