Nweon

近年来，VR直播因其独特的沉浸感和优越的互动性受到了很多直播观众的欢迎。为了降低普通用户VR开播的门槛，抖音与斯莫格SmallRig合作推出了手机VR开播的硬件设备。通过手机搭配鱼眼镜头及配件，用户可以轻松开播，并享受沉浸式的直播体验。为了保证画质和效果，抖音进行了技术优化，包括手机摄像头和鱼眼镜头的组合模式，以实现全景画面的采集，以及高分辨率直播推流和AI技术的应用。抖音的XR品牌PICO上线了VR直播，吸引了大量VR一体机用户成为VR直播间的常客。PICO VR直播不仅丰富了内容类型，还与政务媒体、法院等合作推出了多种直播活动。VR直播在文旅、科普、内容种草等不同场景下展现了独特优势。随着抖音手机VR全景直播功能的开通和硬件技术的普及，VR直播创作者的数量将大幅增加，并且将出现更多具备潜力的VR直播场景。PICO在VR直播领域的努力已经积攒了大量受众，而创作工具的破局和直播创作者的加入将进一步推动VR直播的发展。

眼成像摄像头可以用于智能眼镜和头戴式设备，并支持眼动追踪、虹膜识别和眼睛定位。现有的透镜系统可能会导致摄像头笨重，难以集成到近眼设备中。微软提出了一种使用透镜阵列的眼成像摄像头系统，该系统由多个紧密排列的小型摄像头组成。每个透镜将眼睛的图像聚焦在图像传感器的不同区域，形成子图像阵列。相比传统透镜系统，透镜阵列具有较短的焦距，可以减小摄像头尺寸，更容易集成到小型设备中。透镜阵列可以使用超材料透镜或超表面透镜，它们具有更紧凑的外形和更严格的视场公差。透镜阵列的每个子透镜可以具有不同的景深范围，以实现扩展的景深。使用透镜阵列的眼成像摄像头可以实现更小的尺寸，使其更适合集成到近眼设备中。

苹果最新的visionOS beta版本已经将App Store带到了Vision Pro。这意味着用户现在可以通过Vision Pro访问大量的应用程序和游戏。尽管尚不清楚新版本中包含的所有新功能，但这个更新仅适用于Vision Pro硬件，SDK和模拟器尚未更新。此外，该系统只向特定开发者提供，一般用户无法访问。据社区消息透露，苹果已经将Vision Pro开发机中的App Store作为visionOS开发的一部分，并默认包括所有兼容的iPhone和iPad应用程序。需要注意的是，苹果禁止开发者随意泄露相关情报。

苹果公司在名为“Emotion detection”的专利申请中介绍了一种通过神经网络来帮助估计图像中描述的用户情绪的方法。该发明使用自编码器神经网络来捕获中性和表情面部模型的latent变量表示。这些模型可以离线开发并存储在设备上供运行或实时使用。基于有限的数据样本，可以使用额外的神经网络或统计滤波器来加权第一个神经网络模型的latent变量。该方法可以生成逼真的中立Avatar，并且可以与表情神经网络结合使用，在实时操作中由音频和/或视觉输入驱动，以生成特定个体的逼真Avatar。在训练自编码器时，可以使用图像对中的latent向量来估计图像中描述的情绪，然后使用这些latent向量来训练表情CNN等神经网络来从图像中估计情绪。此外，在专利申请中还介绍了Avatar生成的操作流程和使用条件变量优化模型输出的方法。该专利申请于2023年6月提交，并在最近由美国专利商标局公布。

顺天堂大学医学研究科（神经学）利用微软的MR头显HoloLens 2和Azure Kinect DK，开发了双向3D在线诊疗系统Holomedicine，旨在通过全息人体扫描技术实现在线治疗帕金森病。该系统通过HoloLens 2和Azure Kinect DK捕获医生和患者的动作信息，并以立体的形式显示在对方的设备上，重建了诊疗室的实际感受。团队与日本帕金森病专门设施“PD House”的Sunwells合作进行了实证实验，结果显示Holomedicine的诊疗效果接近于面对面诊疗。研究团队希望通过建立安全稳定的网络环境、改善硬件和应用程序等方面的工作，实现Holomedicine在临床中的实用化。他们还计划与Sunwells合作，在全日本范围内实施这一技术，让无法接受专业医疗的患者获得与面对面诊疗相似的诊疗环境。该项目得到了日本微软的支持。

微软在名为“Head-mounted display alignment assessment”和“Stereo alignment assessment for head-mounted display”的专利申请中提出了一种对齐评估方法，用于解决XR头显图像显示时存在的立体错位问题。该方法通过利用空间调制显示光操作、光学传感器和惯性测量单元（IMU）等组件，评估左右显示光的立体对齐状况，以检测头戴式显示系统中左右显示图像之间的立体不对齐。具体而言，通过测量左右测试光和显示组件的方向、位置变化等因素，来评估不同组件之间的潜在不对齐。该方法有助于提升用户体验，避免立体错位带来的不舒适感和恶心感。该专利申请最初于2022年2月提交，并在2023年10月31日在美国专利商标局公布。

通过沉浸式虚拟现实（VR）技术来提高公众对健康威胁的认知和情景意识是一个重要的研究领域。香港科技大学、卡内基梅隆大学和西交利物浦大学的研究团队进行了相关的研究。他们首先设计了一个有代表性的VR数据故事，并通过用户体验和反馈来确定设计VR数据故事的需求和反馈。根据反馈和深度访谈，研究人员总结了设计VR数据故事的五个考虑因素，包括沉浸式视觉化、故事情境的联系和感知的提高等。然后，他们通过实现这些设计功能构建了一个VR数据故事原型，并进行了一项实验来评估其在提高公众健康威胁情景意识方面的效果。结果表明，具有沉浸式可视化和交互性的VR数据故事可以显著提高参与者的情景意识。此外，研究团队还调查了参与者对故事的感知和交互方式，并发现沉浸式视觉化、多角度和具身交互等设计特征有助于情景感知的提高。研究的结果对于设计更好的VR数据故事以提高公众对健康威胁的认知具有重要参考价值。

Meta通过Quest 3混合现实头显迈出了AR眼镜的第一步。Quest 3是一款价格相对亲民的设备，用户可以通过传感器捕获物理环境并叠加相关的数字影像，比如添加虚拟屏幕。然而，Quest 3仍然是一款笨重的头戴设备，视图的分辨率和保真度也有待提高。开发者通过软件技巧展示了一个逼真的虚拟屏幕，支持实时全球照明和反射，并映射了Nintendo Switch的游戏进行。虚拟屏幕可以照亮附近的表面并反射到桌面上，透视效果相当出色。然而，虚拟屏幕是在PC端渲染，不是原生的Quest 3，而且只是一个视频播放器，不支持实时呈现游戏。这个技术演示可以发展成为一个特殊的应用工具，开发者可能会进一步实验并将其导入到Meta App Lab或SideQuest。不仅是他一个人，社区也在积极探索与物理环境进行视觉交互的逼真混合现实屏幕，而Quest 3已经有一系列的视频播放器应用和串流应用程序。

达成2022年12月现象后，Quest头显使用户的虚拟身体变为卡通化。然而，用户对此不满意，并要求关闭此功能。根据社区的情报，Meta似乎将提供关闭第一人称Avatar的选项。第一人称Avatar会给用户带来不适感，因为Quest只能估计身体和手臂的位置，如果估计值和实际位置相差较大，用户会感到不舒服。虽然Quest 3对于身体和手臂位置的估计越来越准确，但这并不能解决用户对卡通Avatar的认同问题。根据一位用户的推特信息，Meta的Quest v59 PTC版本可能带来了禁用第一人称Avatar双手/身体的选项。然而，虽然v59已经推送了一周，但版本说明中并未提到此选项，因此它可能在后续的版本中调整，例如v60。目前，Meta尚未确认此选项的存在。

索尼高管埃里克·伦佩尔表示，PSVR 2对索尼非常重要，虽然它并非索尼本财季的核心主张。《巴伦周刊》的专访也讨论了PS5和其他事项，但索尼的PSVR 2同样成为了记者关注的话题。根据2023年Q1财报显示，PS5的全球销量达到4170万台，而PSVR 2的销量尚未公布。根据传出的一张索尼内部会议PPT幻灯片，PSVR 2在前六周的销量接近60万台，超过了PSVR 1的约55万台。虽然这只是粗略计算，但根据售价计算，PSVR 2前六周的销售额可能达到33.54亿美元。伦佩尔表示，虽然VR对索尼十分重要，但PS5才是核心。虽然VR市场正在发展，吸引了众多巨头的布局，但与主机、PC和移动等市场相比，VR依然只是一个利基市场。尽管索尼将重点放在PS5上，但伦佩尔的评论表明索尼仍会继续布局和投资于VR，随着VR的成熟和发展，它可能成为索尼财季的核心。