Nweon

微软提出了一种改进的时间滤波技术，该技术适用于MR场景中的图像数据连续捕获。通过组合多个连续捕获的图像数据，系统可以产生合适的输出图像。然而，执行时间滤波时会遇到一些挑战，例如移动对象引起的重影效果和摄像头移动导致的时间滤波偏斜。该专利申请描述了一种基于IMU数据的改进时间滤波技术。通过使用第一图像和第二图像生成差异图像，并结合局部权重图和全局权重图，生成最终权重图。最终权重图用于生成滤波图像，并在滤波权重计算的后续迭代中作为反馈提供。这种技术可以提高图像的质量，减少重影效果，并改善用户对MR系统的体验。

空间音频渲染对于提升沉浸式体验非常重要。苹果公司在一项名为“Splitting a voice signal into multiple point sources”的专利申请中介绍了一种相关的方法。该方法通过将输入音频信号分割为至少两个虚拟声源，并对每个声源进行空间化，从而将声音呈现为从不同位置发出。音频系统将单个输入音频信号分割为两个或多个子频带音频信号，并将其分配到不同的虚拟位置。然后，系统通过处理这些子频带音频信号和相关元数据，生成多声道扬声器驱动信号，从而使不同子频带的声音在不同位置发出。这种方法可以应用于模拟现实XR应用中，通过对音频进行空间化处理来增强真实感。此外，该专利申请还介绍了将分频器与房间的声学特性控制相结合的案例，以及将语音信号分割成多个子频带来再现数据对象的声音的方法。这项专利申请于最近由美国专利商标局公布。

医疗技术公司Novarad最近宣布，在微软HoloLens上开发的VisAR手术导航系统在骨科和脊柱外科领域取得了重要突破。该系统在美国首次成功地在活体患者身上放置了椎弓根螺钉。外科医生Bradley Moatz利用基于微软HoloLens的VisAR系统在MedSTAR Union医院成功完成了这次手术。VisAR提供了术前规划、虚拟注释、分割和双向图像等功能，通过与微软合作，医生可以将患者的成像数据转换为三维全息图，并叠加在患者身上，实现交互式的3D导航。这使得外科医生无需转头看向另一个显示器，可以直接专注于手术目标，提高了手术引导的精确性和经济性。Novarad表示，这一里程碑凸显了增强现实在手术室中的变革力量，他们的VisAR系统为外科医生提供了无与伦比的精度和实时视觉指导。

在Meta的财报电话会上，扎克伯格表示虽然AI是关键的主角，但集团依然致力于元宇宙愿景，认为AI和元宇宙在很多方面互为补充。Meta将继续把AI方面的进步应用到元宇宙，助力愿景实现。负责元宇宙业务的Reality Labs在二季度营收仅为2.76亿美元，是自2020年Q4以来的最低点，亏损为37.4亿美元，同比增长33.3%。而Meta的传统广告业务受AI提升的影响实现了超预期的发展，二季度广告营收为315.0亿美元，同比增长11.9%。扎克伯格表示尽管AI成为财报的主角，但集团依然致力于元宇宙愿景，因此Meta将增加对AR/VR的资本支出。此外，Meta将在Connect大会上分享AI和元宇宙的融合应用，发布全新一代消费者头显Quest 3。Meta还对元宇宙社交平台Horizon的Avatar进行了大幅优化，并表示将在今年下半年发布Avatar的下半身支持。然而，预计Meta对元宇宙及其生态系统的大力投资将导致今年元宇宙业务的亏损扩大，明年更是大幅增加。

根据Meta发布的2023年二季度报告，其负责元宇宙业务的Reality Labs的营收和亏损均低于预期。Reality Labs在该季度的营收为27.6亿美元，同比下降38.9%，不及分析师预测的39.19亿美元，为新低。而亏损为37.4亿美元，同比一年前扩大33.3%，超过分析师预测的36.8亿美元。预计Meta今年元宇宙业务的营业亏损将扩大，明年的营业亏损将更大，原因是公司继续投资VR和AR及其生态系统。然而，由于Meta在传统广告业务方面通过AI提升了广告定位能力，二季度集团营收约为320亿美元，同比增长11%。营收增长和超预期的盈利使得Meta股价在盘后一度飙升7%。此外，Meta的应用家族业务表现强劲，二季度广告营收为317.23亿美元，同比增长11.8%，应用家族的整体营业利润为131.3亿美元，同比增长17.6%，Facebook的月活用户数也首次突破30亿，达到30.3亿，同比增长3.4%。

第31届世界大学生夏季运动会将在成都举行。届时将有来自170个国家和地区的1万多名运动员参赛，争夺269枚金牌。中国代表团由100所高校的411名运动员组成，备受关注。今年，观赛者可以通过戴上PICO VR一体机进入在线互动场，观看全赛程直播。在PICO视频中，观赛者可以自由选择直播、点播和回放等服务，还能切换观看的比赛内容，获得非凡的观赛体验。同时，PICO具有超大视场角，能够带来逼真的观赛感受。除了比赛直播，PICO视频还将提供大运会专属比赛社交空间，观赛者可以在该空间与其他观察者互动，享受多人观赛的氛围。去年卡塔尔世界杯期间，PICO成功开启了VR+体育赛事直播的新方式，提供了新鲜有趣的观赛体验。随着科技的发展，体育赛事的观赛方式不断创新，相信无论是资深体育迷还是偶尔关注大型体育赛事的人，都能在PICO中体验到前所未有的观赛乐趣，感受大运会的激情和精彩。

该文介绍了Meta提出的一种基于液晶偏振全息图（LCPH）的AR/VR眼动追踪技术。该技术利用液晶偏振全息图作为光栅，将光源通过波导引导到用户眼睛，形成衍射光束。通过捕获用户眼睛反射的光并分析图像，可以确定用户眼睛的位置和视线方向。液晶偏振全息图可以产生高效的衍射光束，并具有大的立体角，从而可以在用户眼睛处重叠和干涉，或形成闪烁效果。通过使用多对液晶偏振全息图，可以生成具有不同方向和周期的多组干涉条纹，用于测量眼睛的深度轮廓。该技术可以在AR/VR头显中应用，实现准确、节能和经济高效的眼动追踪系统。 Meta在其专利申请中详细描述了液晶偏振全息图的结构和制造方法，以及眼动追踪系统中光源、波导等组件的配置。该技术具有较高的衍射效率、灵活的光源放置和分布方式，并且能够提供准确的眼睛深度轮廓。通过该技术，可以实现高效的眼动追踪，提升AR/VR用户体验。

微软的YouTube栏目"Design Build Operate"专注于探索工业元宇宙和HoloLens 2是如何改变当今工业的。主持人亚历克斯·卡里姆（Alex Karim）邀请了相关的客户和合作伙伴，并介绍了制造业、建筑、医疗保健、博物馆和文化领域的沉浸式体验之旅。在第三集中，微软将探讨医疗保健行业的挑战和机遇。更多信息可在微软的YouTube频道获得。此外，还有更多关于HoloLens的案例可在映维网HoloLens专栏中找到。

Niantic旗下的8th Wall最近推出了一项新的Web AR手部追踪技术。该技术可以让开发者、品牌和代理机构构建沉浸式的WebAR体验，以手部、手腕和手指作为输入方式。名为8th Wall Hand Tracking的手部追踪允许开发者创建能够融合手、手腕和手指的WebAR体验。开发者可以通过数十个附着点、自适应手部网格和摄像头像素来平滑皮肤，微调每个体验。附着点分布在手指、指关节、手腕和手掌上，每个手指包含多达7个附着点，从而允许开发者控制附着在手上物品的位置和旋转。自适应手部网格可以动态创建个性化网格，使物体能够适当地附着在用户的手上。该技术可以用于沉浸式交互、虚拟配饰试戴等一系列应用场景，包括游戏和教育体验。由于8th Wall Hand Tracking是为浏览器构建的，开发者可以通过利用开放网络的力量来增强体验，比如与实时API对接、显示准确的当地时间、整合实时视频或纹理等。

软件开发商SB22与PICO达成合作伙伴关系，双方将联合开发结合SB22的创新VR22平台和PICO头显设备的下一代娱乐体验。团队将利用SB22在沉浸式和交互式体育娱乐方面的能力，以及PICO卓越的硬件和技术能力，重新定义用户参与VR内容的方式。SB22和PICO将专注于开发满足体育爱好者、游戏爱好者和娱乐爱好者需求的最先进VR娱乐体验，提供真实感、交互性和沉浸感，让用户感觉身临其境。SB22表示他们将通过结合交互时体育娱乐的专业知识和PICO行业领先技术，提供前所未有的VR体验，吸引用户。而PICO表示相信虚拟现实有能力改变人们消费娱乐的方式，通过与VR体育娱乐先驱SB22合作，能够突破VR领域的界限，为用户带来无与伦比的体验。