Nweon

神经渲染方法近年来在人脸渲染方面取得了显著进展，但将这种方法扩展到可动画化手部模型带来了挑战。手部存在关节，单个关节的状态会影响所有子关节，使得手部形状变化多样化。此外，要实现手部的真实感渲染需要耗费大量的计算成本。为了解决这些问题，Meta和卡内基梅隆大学的研究人员提出了一种神经重照明框架，用于实时渲染参数化的3D手部模型。他们利用多视图光照捕捉数据构建了一个可重照明的手部模型，并使用两阶段的teacher-student方法来学习一个可以泛化到不可见光照的模型。研究人员发现使用空间对齐的照明特征和显式可见性集成对于实现高度可泛化的重照明至关重要。实验结果表明，该方法能够在不可见手势和照明设置下实现更真实的渲染效果，并且具有较快的渲染速度。这项研究为实现在各种照明下实时渲染个性化手部的真实感提供了重要参考。

新加坡国立大学的研究小组开发了一种高角分辨率的3D成像传感器，能够检测X射线到可见光谱的3D光场。该传感器采用了独特的角度到颜色转换原理，具有大于80度的角度测量范围和0.0018度的高角分辨率。与传统的光感测技术相比，该传感器能够以更高的深度分辨率捕获3D图像。该传感器的核心是无机钙钛矿纳米晶体化合物，通过调节其化学性质或引入少量杂质原子来改变钙钛矿纳米晶体和光线之间的相互作用。研究人员将钙钛矿晶体图案化到透明薄膜基板上，并将其集成到彩色电荷耦合器件（CCD）中，从而将入射光信号转换为彩色编码输出，进而进行3D图像重建。实验结果表明，该传感器可以通过精确重建远距离对象的深度和尺寸来捕获3D图像，并支持细节捕捉，例如键盘上单个键的浅突起。未来的研究将进一步提高空间精度和分辨率，可能使用高端彩色探测器和其他材料。

美国医疗影像技术公司Novarad表示，其可用于微软HoloLens的增强现实（AR）手术导航系统VisAR已经获得印尼食品药物监督管理局的批准，以支持脊柱手术应用。VisAR基于Novarad的成像技术解决方案构建，提供了术前规划、虚拟注释、图像分割和双向图像等功能。Novarad与微软合作，允许医生将患者的成像数据转换为三维全息图，以亚毫米精度叠加在患者身上，使外科医生能够直接专注于手术目标，提高手术引导的精确性和经济性。该方案在手术室设置时间上只需不到2分钟，对于开放式和微创手术（MIS）程序中，椎弓根钉放置的手术精度为2毫米。Novarad表示，VisAR的技术将帮助印尼的外科医生以更高的准确性和更低的风险进行复杂的手术，改善患者的预后。

Meta将在今年发布全新的消费者迭代产品，首席技术官安德鲁·博斯沃思表示，2023年将是VR行业的一次巨大转变。今年行业将实现VR 2.0，混合现实、双手追踪、眼动追踪和面部追踪等功能将成为未来设备的新基线。博斯沃思相信即将推出的Quest 3可以将MR功能推向主流，虽然官方尚未明确表示Quest 3是否支持眼动追踪和面部追踪，但社区普遍认为Meta可能不会在这款消费者产品中提供这些功能。然而，Meta可能会补贴硬件成本。博斯沃思再次确认，Quest 2不会立即退出市场，Meta将继续销售并提供软件更新。他表示Quest 2是一款优秀的头显，将在市场上存在很长一段时间，并希望继续通过Quest 2推进核心功能的开发和用户体验。他还表示，如果实现更自然的界面，能更多地接触周围的世界，将更容易触达更多的人群，但Quest 2仍然是一款非常好的产品，希望它能在市场上长期存在并得到支持。

苹果消息人士郭明錤表示，苹果已经准备好在6月的WWDC大会上发布首款AR/MR头显。他提到了相关的组件供应商和组装商，包括立讯精密负责组装，索尼提供Micro OLED显示器，台积电提供双处理器，歌尔股份提供外接电源等。尽管没有提供太多细节，但他再次强调苹果已经做好了充分的准备。根据郭明錤和其他媒体的情报，苹果的头显设备外形类似滑雪镜，售价为3000美元，配备可以放在腰间或口袋的外接电池。主要应用包括FaceTime、Apple Fitness+和游戏，预计在6月6日的WWDC大会上正式发布，并在9月开始量产。

在这项研究中，研究人员提出了一种基于转换器的模型CocoFormer，用于解决自中心视觉查询定位的问题。他们注意到现有的方法存在数据集和任务偏见的问题，并通过扩展有限的注释和动态丢弃对象建议来解决这些问题。CocoFormer模型引入了一个条件投影层，通过将查询对象转换应用于候选proposal特征，生成与查询相关的embeddings。然后，使用多头注意力层来操作这些转换，以充分利用全局情景。实验结果显示，CocoFormer在2D和3D配置中取得了更好的查询定位性能，并在Ego4D的挑战中成为VQ2D和VQ3D任务的前两名，并在FSD检测任务中达到了最新的性能水平。总的来说，这项研究通过改进自中心查询检测，提出了一种有效的方法来解决自中心视觉查询定位的问题。

德国企业PuttView X推出了基于微软HoloLens 2的户外高尔夫推杆解决方案，定价为14480美元（约合人民币10万元）。套装包含PuttView X软件、定制的微软HoloLens 2、Wifi路由器、智能手机app和5年的PuttView X订阅服务。该解决方案利用HoloLens 2的增强功能，在打高尔夫时可准确稳定地显示全息内容。使用PuttView X软件，搭载先进传感器的HoloLens 2可以显示关键的推杆信息，并推荐最佳的角度和力量，并可视化推杆路线。此外，配备的智能手机app可以投射屏幕，让教练或同伴看到球手在果岭的经历。系统还可以收集推杆数据，帮助球手进行总结和改进训练。开发商已说服高尔夫名将贾斯汀·罗斯和布莱森·德尚博使用这一技术。PuttView X套装目前已开始预购，折扣价为13980美元，预计6月开始发货。

Google Maps近日推出了Photoreality 3D Tiles的实验版本，它是一个具有高分辨率图像纹理的3D网格，允许开发者将自己的3D地理空间数据与之结合，从而构建沉浸式元宇宙体验和应用。构建世界的三维模型通常是劳动密集型和资源密集型工作，但Photoreality 3D Tiles可以将这一繁重的工作转移到世界最全面的3D地理数据集之一中，同时允许选择渲染器并叠加自己的数据。该产品基于谷歌的高分辨率RGB光学图像进行纹理处理，并使用与谷歌地球相同的3D地图源。它专为城市街区到城市范围的可视化而设计，可覆盖49个国家的2500多个城市。由于采用了Open Geospatial Consortium（OGC）的3D Tiles标准，开发者可以使用自己的渲染器或其他兼容的渲染器和可视化库来渲染3D Tiles。Cesium首席执行官表示，Photoreality 3D Tiles将在整个社区激发创新，帮助开发者构建前所未有的应用程序和体验。Cesium还发布了示例代码和教程来帮助开发者使用Photoreality 3D Tiles。

据映维网报道，苹果即将在6月召开的WWDC开发者大会成为AR/VR社区关注的焦点，因为苹果有望发布首款XR头显。消息源包括《华尔街日报》、彭博社、The Information和天风国际分析师郭明錤等已经分享了关于这款设备的一系列情报。而Oculus创始人帕尔默·拉奇在推特中表示“苹果头显真的非常6”，引起了人们的关注。有人猜测帕尔默·拉奇已经提前拿到了苹果的设备并进行了体验尝试。另一个猜测是帕尔默·拉奇是拿到苹果开发样机的开发者之一。虽然以上只是猜测，但据《华尔街日报》称，苹果的首款XR头显性能远超Meta Quest Pro等竞争对手。帕尔默·拉奇曾是Oculus公司的创始人，2014年将公司卖给Meta后离开，并创办了Anduril国防企业。然而，他仍然关注XR行业的发展，曾投资多家XR相关企业，并在Twitter上保留了Oculus的创始纪念置顶推文。

本文报道了Meta Quest、Meta Rift和Steam平台最新的畅销VR游戏排行榜。Rift Store和Steam是目前主流的PC VR内容平台，而Meta Quest则是目前国外主流的一体式6DoF移动VR平台。值得注意的是，畅销游戏列表是实时变化的，括号内的表示正在促销，而括号外的为原价。文章还附带了Steam VR游戏应用、Meta Quest游戏应用和Meta Rift游戏应用的前十名排行榜。