/ Nweon / 0浏览

微软AR/VR专利分享头显控制亮度适应的显示方法



映维网Nweon
2024年10月30日

)当用户在黑暗环境中操作AR显示设备时,用户的眼睛会自然地适应虚拟显示图像的亮度。如果在黑暗的环境中取出设备,用户可能会经历一段令人无法接受的长时间夜盲症。

在一份专利申请中,
微软
提出了一种旨在增强用户舒适性和安全性的解决方案。其中,显示设备作为环境亮度的函数动态调整虚拟图像投影的角度内容。在非常黑暗的环境条件下,显示投影限制在一个狭窄的角度范围内,完全对焦在用户中央凹的目标区域。所以,用户眼睛中最敏感的感光器受到保护,不受显示光的影响,并完全适应黑暗。

当用户移除显示设备时,光感受器立即提供可接受的夜视,几乎就像是用户根本没有看过任何显示图像一样。在明亮的环境条件下,投影可以在近眼显示硬件支持的所有角度范围内提供。

图1示出由用户佩戴,并将虚拟图像投射到用户的视场中的AR近眼显示设备。图2示出近眼显示系统的的各方面。所述单目系统包括配置成形成显示图像216的图像投影仪218。所示的图像投影仪包括由多个光源222照射的高分辨率空间光调制器SLM220。

每个光发射器可以发射不同波长波段的光。通常,不同波长的波段对应于“原色”。所以,多个光发射器可包括在波长450至495nm范围内发射的至少一个蓝色发射器,在波长500至570nm范围内发射的至少一个绿色发射器,以及在波长620至750nm范围内发射的至少一个红色发射器。

一般来说,显示设备可以在非常宽泛的环境亮度条件下使用。在正常使用过程中,用户的眼睛动态地适应环境光和虚拟图像投影的组合亮度。使用者瞳孔的直径可以在一秒钟内调整以适应亮度的突然变化,但使用者的视网膜感光器的灵敏度可能需要几分钟来调整。

当用户适应了虚拟图像投影的亮度,若必须在夜间或黑暗空间中移除显示设备时,感光器灵敏度调整的相对较长的时间尺度可能会出现问题。在这种情况下,使用者可能会经历一段时间的夜盲症,直到光感受器重新适应黑暗环境。

微软的解决方案承认人眼有两类视网膜感光器,它们在波长敏感性和在视网膜的空间分布都不同。

图3A示出了人眼。图3B示出人眼光感受器面密度与距中央凹中心角度的关系图。如图3C所示,每种锥体对不同波段有响应。s型锥的灵敏度在蓝色区域(短波长)达到峰值。m型锥的灵敏度在绿色区域(中波长)达到峰值。l型锥的灵敏度在红色区域(长波长)达到峰值。

总的来说,锥状体在可见光谱上提供宽带灵敏度。相比之下,视杆细胞(实线)对短波长的敏感度比任何一种视锥细胞都要高得多,并且主要分布在视网膜外围336,在中央凹之外。在图3C中,视锥灵敏度缩放到相同的峰值,因为有效灵敏度同时取决于每种视锥物种的密度,而密度可能会变化。另外,视杆细胞和视锥细胞的相对灵敏度不一定按比例表示。

鉴于视杆细胞对红色的敏感度有限,在上述情况下避免夜盲症的一种方法是将虚拟显示图像限制在长波长(例如>620nm),这时视杆细胞没有反应。

这种策略可以避免高度敏感的视杆细胞进行亮度适应。当用户取下显示设备时,杆状体就已经适应了黑暗的环境。尽管有这样的好处,但仅显示红光的策略在其他方面可能不可取,因为它剥夺了用户全彩显示的信息内容。

微软指出,一个更好的解决方案是投射一个全彩色的虚拟显示图像,但仅限于视网膜的目标区域。以这种方式,当近眼显示设备移除时,几乎所有的视杆细胞都能够适应黑暗,并立即为夜视做好准备。

如图3A所示,用户的注视方向D由从中央凹中心穿过瞳孔326的光线来定义,其中中央凹中心和瞳孔都限制在一个固定的轨道内。随着注视方向的改变,显示设备参照系中中央凹的位置随之改变。

为了实现发明所述方法,图1的显示设备102包括位置传感器138。所述位置传感器配置为提供位置信号,位置信号根据眼睛中央凹的位置而变化。操作上,位置信号随注视方向D与光轴a分离的角度φ的变化而变化。

图4示出眼成像系统440形式的示例位置传感器。眼成像系统同时可以用于追踪瞳孔位置,以获得高精度的3D渲染,从而适应不同瞳孔间距的用户范围。

如图4所示,离轴照明可产生从用户角膜448反射的镜面闪烁446。离轴照明同时可以用来照亮眼睛,产生“暗瞳”效果,亦即瞳孔426看起来比周围的虹膜448更暗。相比之下,来自红外或近红外光源的轴向照明可用于创建“亮瞳”效果,其中瞳孔看起来比周围的虹膜更亮。

再次返回到图1,除位置传感器138外,显示设备102同时包括亮度传感器154。亮度传感器配置为提供亮度信号,亮度信号根据近眼显示系统外部的亮度而变化。

在一个实施例中,亮度传感器可以响应环境加上显示图像的组合亮度。亮度信号对环境亮度的功能依赖性没有特别的限制。亮度传感器可以采用图4的眼成像系统440的形式,具有下游逻辑以返回瞳孔直径的估计值。

计算机108可操作地耦合到图像投影仪,并且配置成使图像投影仪来将彩色图像限制到依赖于位置信号和亮度信号变化的角度范围,从而当亮度低于预定阈值时,彩色图像限制到视网膜目标区域。

图5示出用于控制亮度适应的示例方法500。

在556A,显示设备的位置传感器提供位置信号。在556B,显示设备的亮度传感器提供亮度信号。在556C,位置信号和亮度信号在显示设备的计算机中接收。在556D,近眼显示系统根据位置信号和亮度信号的不同,在一定角度向眼睛投射彩色图像。

具体地说,选择的角度范围这样规定:当近眼显示系统外部的亮度低于预定阈值时,彩色图像限制在视网膜目标区域,如中央凹。预设阈值可以是暗适应保护阈值。在一个实施例中,预定阈值可以是应用情景和/或其他条件或感官输入的函数。

作为说明,图3A显示了可能从近眼显示系统的图像投影仪的扩展光学中出现的平行射线P1和P2。计算机控制光线相对于光轴A的角度,使得任何穿过瞳孔226的光线由晶体透镜聚焦到中央凹344的同一点。

为此,计算机处理定义了被感知的中央凹位置的位置信号。操作上,平行光线P1和P2的角度控制方式取决于近眼显示系统的详细配置。如图2所示,基于SLM的单眼系统中,最低角度光线来自SLM矩阵中心的元件,而高角度光线来自SLM矩阵外围的元件。

所以,如果用户直视前方,计算机将使SLM将来自矩阵中心附近元素的光引导到集合光学中,从而将彩色图像限制在视网膜目标区域,而来自远离中心的元素的光将逃离集合光学。在一般情况下,当用户不必直视前方时,指向集合光学元件的轨迹将根据位置信号在矩阵中向上或向下、向左或向右移动。对于扫描光束激光投影仪,只有当光束的角度落在根据位置信号计算的角度范围内时,根据上述相同的原理,激光才会打开。

一般来说,彩色图像的限制程度可以根据应用或使用场景来选择,并进一步根据配置的细节来选择。在一个实施例中,投影彩色图像将彩色图像限制在距中央凹中心2度以内,距中央凹中心1度以内,或距中央凹中心1 / 2度以内。

在一个实施例中,投影彩色图像将彩色图像限制在中央凹内,通常定义为中央凹中心5度以内的区域。彩色图像只投射到一只眼睛,以保持另一只眼睛最大程度地适应黑暗。相反,当亮度高于阈值时,彩色图像可能会延伸到视网膜目标区域之外。换句话说,彩色图像可以延伸到中央凹中心的±75度,这样用户就可以充分享受彩色图像显示的好处,而不会产生不良影响。

在一个实施例中,上面提到的暗适应阈值区分了离散夜间模式和离散正常模式,前者彩色图像限制在视网膜目标区域内,后者彩色图像扩展到可用的视场范围。

回到图5,在556E,根据亮度信号调整彩色图像的强度。更具体地说,强度可以随着环境亮度的增加而增加,以便在不同的操作场景中为用户提供更舒适的视觉体验。在556F,可以选择将红色单色图像投射到眼睛中。

在556G中,真实世界的图像组件通过依赖于亮度信号而变化的因素变暗,从而帮助黑暗适应。因此,在图1的AR显示设备102中,调光屏幕158可操作地耦合到计算机108。调光屏幕是一个低通滤波器,只调暗影响视杆细胞暗适应的非红色波长,红色成分图像不变暗,以避免不必要的可见性损失。

另外,除了提供亮度信号外,显示设备同时可以提供其他信号,例如时间或位置,以指示用户在将来的某个时刻可能在黑暗中移除显示设备。在这样配置的显示设备中,计算机可以应用合适的启发式,甚至在环境亮度低于黑暗适应阈值之前将彩色图像限制到视网膜目标区域。

尽管所述描述频繁提及AR显示设备,但需要强调的是,发明所述方法同时可以在完全沉浸式VR显示设备实现。


相关专利


Microsoft Patent | Display method for controlling brightness adaptation

名为“Display method for controlling brightness adaptation”的
微软专利
申请最初在2023年3月提交,并在日前由美国专利商标局公布。