(映维网Nweon 2025年04月10日)对于XR,用户可以通过启动适当的应用来调用注释或空白文本输入文档。然而,应用启动过程可能包括数个可能会分散用户工作流程的步骤。针对这个问题,苹果在一份专利申请中提出了相关的解决方案。
在一个实施例中,发明描述了调用写入表面的方法,包括检测物理环境的图像流中的物理平面。针对检测图像流内的物理平面,获取物理平面的位姿值,并在第一位置呈现用于显示标记的XR表面,其中第一位置基于物理平面的位姿值。响应于物理平面的移动,保持XR表面在第一个位置的呈现。
图5A-5T描述了内容交付场景的序列。
如图5A所示,在内容交付场景的实例510(与时间T1相关联)期间,电子设备120呈现一个XR环境128。另外,电子设备120检测/识别物理环境105内的一组初始平面,包括桌面107、门115、物理环境105的墙壁和物理环境105的地板。
如5B-5D所示,电子设备120响应于在所述物理环境105内检测到所述第一物理平面而呈现的第一XR表面532。在内容交付场景的实例520(与时间T2相关联)期间,电子设备120在电子设备120的视场111内检测用户149的左手150,其中用户149的左手150的手掌面向电子设备120的朝外图像传感器。
在实例520期间,电子设备120同时在XR环境128中呈现用户149的左手150的表示151。另外,电子设备120检测/识别物理环境105内的一组当前平面,包括桌面107、门115、物理环境105的墙壁、物理环境105的地板和用户149的左手150的手掌。
与图5A中的初始平面集(与时间T1相关联)相比,图5B中的当前平面集(例与时间T2相关联)包括至少一个额外的平面,例如左手150的手掌。
如图5C所示,在内容交付场景的实例530(与时间T3相关联)期间,与图5A中的初始平面组相比,电子设备120响应于检测/识别图5B中的至少一个附加平面(例如左手150的手掌),并在与用户右手150的表示151共面的第一位置呈现第一XR表面532。
如图5D所示,在内容交付场景的实例540(与时间T4相关联)期间,电子设备120在检测到用户149的左手150从电子设备120的视场111移除后,在第一位置保持第一XR表面532的呈现。
如图5E所示,在内容交付场景的实例550(与时间T5相关联)期间,电子设备120通过追踪技术用控制设备552检测标记输入554。电子设备120同时呈现控制设备552的表征553,亦即用户左手150的表征151在XR环境128中保持书写握持姿势。
如图5F所示,在内容交付场景的实例560(与时间T6相关联)期间,电子设备120响应于检测图5E中的标记输入554,在第一XR表面532呈现标记562。
如图5G所示,在内容交付场景的实例570期间(与时间T7相关联),电子设备120响应于检测图5F中的操作输入564,将第一XR表面532从XR环境128中的第一位置转换为第二位置。
如图5H所示,在内容交付场景的实例580(与时间T8相关联)期间,电子设备120在相对于纸板572的表示573可在至少一个空间维度偏移的位置呈现第二XR表面582,以响应于检测/识别至少一个附加平面。
如图5I所示,在内容交付场景的实例590期间(与时间T9相关联),电子设备120在检测到从电子设备120的视场111移除纸板572后,在其初始位置保持第二XR表面582的呈现。
如图5J所示,在内容交付场景的实例5100(与时间T10相关联)期间,电子设备120在与用户149注视方向5104相关联的第一XR表面531呈现指示器5106。指示器5106对应于用户149眼睛的焦点。
如图5K所示,在内容交付场景的实例5110(与时间T11相关联)期间,所述电子设备120从所述第二XR表面582中去除所述纹理,并将所述第一XR表面532呈现给所述第一XR表面532,以表明所述第一XR表面532当前在所述XR环境128中选中或对焦。
如图5L所示,在内容交付场景的实例5120期间(与时间T12相关联),电子设备120在电子设备120的视场内检测到由用户149的右手152持有的纸板572。
如图5M所示,在内容交付场景的实例5130期间(与时间T13相关联),电子设备120通过对象追踪技术检测到用户左手150握住的物理代理对象5132。
如图5N所示,在内容交付场景的实例5140(与时间T14相关联)期间,电子设备120通过对象追踪技术确定用户左手150持有的物理代理对象5132相对于纸板572违反预定的的距离阈值5134。即满足图5N中的接近条件。
如图50所示,在内容交付场景的实例5150(与时间T15相关联)期间,电子设备120将XR表面5152呈现在与纸板572的表示573基本共面的位置,以响应于检测/识别至少一个附加平面。
如图5P所示,在内容交付场景的实例5160(与时间T16相关联)期间,电子设备120确定用户149左手150所持的物理代理对象5132接触纸板572。
如图5Q所示,在内容交付场景的实例5170(与时间T17相关联)期间,电子设备120改变XR表面5152的外观,例如从白色填充到纹理填充)。
如图5Q所示,在内容交付场景的实例5170(与时间T17相关联)期间,电子设备120检测到纸板572对桌面107的平移运动5176。
如图5R所示,在内容交付场景的实例5180期间(与时间T18相关联),电子设备120将XR表面5152保持在其初始位置的呈现。
如图5S所示,在内容交付场景的实例5190(与时间T19相关联)期间,电子设备120响应于检测到图5R中的标记输入,在XR表面5152呈现文本5192(例如,“Hello, world!”)。其中,电子设备120基于光学字符识别技术或类似技术,将用户149在纸板572的书写转换为文本。
如图5S所示,在内容交付场景的实例5190期间(与时间T19相关联),电子设备120检测指向XR表面5152的操作输入5194。例如,操作输入5194对应于类似于从便笺簿剥离便利贴的拉撕手势。
如图5T所示,在内容交付场景的实例5200期间(与时间T20相关联),电子设备120呈现包括文本5192的第一XR表面5152A和第二XR表面5152B。
图6A和6B说明了调用XR表面的方法600的流程图表示。
用户可以通过启动适当的应用来调用注释或空白文本输入文档。然而,应用启动过程可能包括分散用户工作流程的多个步骤。所以,用户可以通过在图像传感器视场内简单地持有物理平面(例如纸垫或用户的手掌)来调用书写表面。
如602所示,检测物理环境的图像流中的物理平面。
如606所示,为响应检测图像流内的物理平面,获取物理平面的位姿值;并在第一位置呈现用于通过所述显示设备呈现标记的XR表面。
如612所示,为了响应物理平面的移动,在第一个位置保持XR表面的表示。
在一个实施例中,方法600包括:检测物理平面向物理环境内第二位置的移动;在检测到物理平面移动到第二位置后,保持XR表面在第一位置的呈现。检测指向所述物理平面的标记输入;响应于检测标记输入,根据所述标记输入的空间参数在XR表面上呈现一个或多个标记。
如614所示,在呈现所述XR表面后,检测指向所述XR表面的标记输入;响应于检测标记输入,根据所述标记输入的空间参数在XR表面上呈现一个或多个标记。
如616所示,根据标记输入的幅度超过所述XR表面的至少一个空间维度的确定,在所述XR表面上呈现一个或多个标记时,在至少一个空间维度扩展所述XR表面。
如618所示,在呈现XR表面后,检测语音输入;并针对检测语音输入:根据语音输入生成文本;并在XR表面呈现文本。
如620所示,当文本呈现在所述XR表面上时,根据确定文本的字符数致使文本超过所述XR表面的至少一个空间维度,在至少一个空间维度上扩展所述XR表面。
如622所示,检测指向移动XR表面的操作输入;并且响应于检测所述操作输入,通过在一个或多个维度平移所述XR表面或旋转所述XR表面中的至少一个来修改所述XR表面。
如624所示,在所述物理环境的图像流内检测第二物理平面;为响应检测图像流内的第二物理平面,确定第二物理平面的位姿值;并呈现用于在第二位置呈现标记的第二XR表面。
相关专利:Apple Patent | Method and device for invoking a writing surface
名为“Method and device for invoking a writing surface”的苹果专利申请最初在2022年8月提交,并在日前由美国专利商标局公布。





















