（映维网Nweon 2025年05月27日）对于XR头显，现有的图像渲染技术通常采用遮挡剔除技术来确定XR环境中存在的虚拟对象从camera角度来看极有可能可见，并仅将与所述虚拟对象相关的信息传达给处理器以用于合成目的。
但由于有的虚拟对象会遮挡XR环境中存在的真实对象，所以即便不在最终的XR图像可见，与真实对象对应的像素图像数据依然会由图像传感器读出，然后图像数据由处理器处理。这是一个非常耗时和计算密集的过程。
在一份专利申请中，Varjo提出了一种基于基于遮挡剔除的图像信号处理方法，跳过光敏表面区域的像素数据，以完全省略所述区域的图像信号处理，从而以高计算效率和时间效率的方式生成XR图像。
在一个实施例中，包括数据存储库和服务器的系统配置为：从数据存储库访问虚拟环境的第一3D模型和现实世界环境的第二3D模型；组合所述第一3D模型和第二3D模型，以生成XR环境的组合3D模型；使用组合的3D模型进行遮挡剔除，从一个视点的角度识别一组遮挡XR环境中真实物体的虚拟对象；并向显示设备发送表示所述虚拟对象集的VR图像和指示从视点角度与所述虚拟对象集遮挡的真实对象对应的视场部分的信息。
当通过使用虚拟环境的3D模型执行遮挡剔除时，至少一个服务器配置为从给定视点的角度将虚拟环境的3D模型数字覆盖在相应的3D边界体，以确定哪些边界体被哪些虚拟对象遮挡。
另外，当通过采用VR深度图执行遮挡剔除时，至少一个服务器配置为将来自VR深度图的给定VR对象的光学深度与给定边界体的光学深度进行比较，以确定给定VR对象和给定边界体中的哪一个遮挡了给定VR对象和给定边界体中的另一个。
确定被某些虚拟对象遮挡的边界体将包含至少一个从给定视点的角度不可见的真实对象。类似地，这样的虚拟对象确定为包含在虚拟对象集合中。
接下来，确定光敏表面区域。一旦确定了光敏表面的至少一个区域，所述图像传感器不读出（即跳过）所述至少一个区域中像素的像素数据，从而完全省略所述至少一个区域的图像信号处理。
这是有益的，因为从给定视点的角度来看，至少有一个真实物体不可见，并且不会在图像中表示），因为它被一组虚拟对象遮挡。在这种情况下，对应于至少一个真实物体的图像信号不需要被至少一个区域中的像素捕获。
这有利于节省至少一个处理器的处理资源和处理时间，否则这些资源和处理时间将被读出（和处理）所述像素数据所浪费。
另外，由于特定真实物体或其部分很可能从给定视点的角度可见（并且将在图像中表示），因为它们没有被虚拟物体集遮挡，因此至少有一个处理器配置为从光敏表面的剩余区域读取像素数据。
因此，图像信号处理可以以一种改进方式（通过控制至少一个参数）来适应从给定视点很可能是可见的真实对象或其部分。
应当理解的是，通过不读取（和不处理）来自光敏表面的至少一个区域的像素数据而节省的至少一个处理器的处理资源和处理时间，可以有效地用于控制用于对从剩余区域读出的像素数据执行图像信号处理的至少一个参数。这可能有利于以高度逼真和更准确的方式捕获图像，甚至不会造成至少一个处理器的负担过重、延迟和过度功耗。
图3示出基于遮挡剔除的图像信号处理方法步骤。
在步骤302中，从至少一个服务器接收表示一组虚拟对象的VR图像和指示以下至少一项的信息：a)从至少一个服务器接收图像传感器的视场的至少一部分，其中所述视场对应于从给定视点来看被该组虚拟对象遮挡的至少一个真实对象；b）从至少一台服务器接收实际世界深度图的多个Tile中的一个或多个，其中所述Tile的3D边界体积从给定视点角度被该组虚物体完全遮挡，而图像传感器包括排列在其光敏表面的多个像素，图像传感器用于捕获实际世界环境的图像。
在步骤304中，感光表面的至少一个区域由至少一个处理器确定，所述区域对应于：a)图像传感器视场的至少一个部分；b)现实世界深度图的多个Tile中的一个或多个Tile。
在步骤306中，使用图像传感器通过执行以下至少一项来捕获图像：i)跳过从光敏表面的至少一个区域读出的像素数据，ii）控制用于对从光敏表面的剩余区域读出的像素数据执行图像信号处理的至少一个参数：从给定视点的角度来看视场的剩余部分中的光学深度，先前捕获图像中与视场剩余部分相对应的像素饱和度，先前捕获图像中像素的色温。
在步骤308中，所述VR图像和所述捕获的图像利用所述至少一个处理器来生成XR图像。
图4示出使用组合3D模型执行遮挡剔除。如图所示，XR环境的XR场景包括多个真实对象和多个虚拟对象。
在真实物体402a-c之间，真实物体402b-c完全位于位于camera408的给定视点的视锥台406内。另外，在所述虚拟对象404a-c中，所述虚拟对象404a完全位于所述视锥台406内，所述虚拟对象404b部分位于所述视锥台406内。真实对象402a和虚拟对象404c不位于视锥台406内。
应当理解的是，真实对象402a-c和虚拟对象404a-c相对于camera408的给定观看位置在XR环境中以不同的光学深度存在。
从camera 408的给定视点来看，真实对象402b（完全）遮挡了虚拟对象404a，并且虚拟对象404b的一部分（完全）遮挡了XR环境中的真实对象402c。因此，从camera 408的给定视点角度来看，实际上只有真实对象402b和虚拟对象404b的一部分可见。
图5A和5B示遮挡剔除的图像信号处理流的两个不同序列图。系统500包括至少一个数据存储库（描述为数据存储库502）和至少一个服务器（描述为服务器504）。服务器504以通信方式耦合到数据存储库502和至少一个显示设备（描述为显示设备506）。所述显示设备506包括至少一个处理器（描述为处理器508）和图像传感器510。
参照图5A，在步骤S5.1，服务器504从数据存储库502访问虚拟环境的第一3D模型和真实世界环境的第二3D模型。
在步骤S5.2中，服务器504组合第一3D模型和第二3D模型以生成XR环境的组合3D模型。
在步骤S5.3中，服务器504使用组合3D模型执行遮挡剔除，从给定视点的角度识别一组遮挡XR环境中至少一个真实对象的虚拟对象。
在步骤S5.4中，服务器504向显示设备506（处理器508）发送表示所述虚拟对象集的VR图像和指示从给定视点的角度与所述虚拟对象集遮挡的至少一个真实对象对应的视场的至少一部分的信息。
在步骤S5.5中，处理器508确定光敏表面的至少一个区域。
在步骤S5.6中，由处理器508控制图像传感器510通过跳过从光敏表面的至少一个区域读出像素数据来捕获图像。
在步骤S5.6中，处理器508利用VR图像和捕获的图像来生成XR图像。
参照图5B，在步骤S5.1中，服务器504例如从数据存储库502从给定视点的角度获得真实世界环境的真实世界深度图。
在步骤S5.2中，服务器504将真实世界的深度图划分为多个Tile。
在步骤S5.3中，对于给定的Tile，服务器504确定包含非空3D点的3D边界体。
在步骤S5.4中，服务器504从数据存储库502访问虚拟环境的3D模型。
在步骤S5.5中，服务器504对多个Tile的相应3D边界体执行遮挡剔除，以确定从给定视点角度遮挡至少一个真实对象的一组虚拟对象，以及从给定视点角度遮挡其3D边界体的多个Tile中的一个或多个Tile。
在步骤S5.6中，服务器504向显示设备506的（处理器508）发送表示所述虚拟对象集的VR图像和指示从给定视点角度完全遮挡所述虚拟对象集的3D边界体的多个Tile中的一个或多个Tile的信息。
在步骤S5.7，处理器508确定光敏表面的至少一个区域，所述区域对应于真实世界深度图的多个Tile中的一个或多个Tile。
在步骤S5.8中，图像传感器510由处理器508控制，通过控制用于对从光敏表面的剩余区域读出的像素数据执行图像信号处理的至少一个参数来捕获图像。
在步骤S5.9中，处理器508利用VR图像和捕获的图像来生成XR图像。
相关专利：Varjo Patent | Image signal processing based on occlusion culling
名为“Image signal processing based on occlusion culling”的Varjo专利申请最初在2023年10月提交，并在日前由美国专利商标局公布。
