/ Roadtovr / 0浏览

研究人员整理了170多种文本输入技术,以改善XR中的打字体验。

高效的文本输入在没有实际键盘的情况下仍然是XR头戴设备中提升生产力的行业挑战。研究人员创建了一份全面的现有文本输入技术目录,以规范不同的方法并分析其优缺点。通过将该目录免费提供,研究人员希望为他人创造新的和改进的技术提供一个良好的开端。

作者:Max Di Luca
Massimiliano Di Luca是英国伯明翰大学VR实验室的负责人,同时也是心理学与计算机科学学院的副教授。他曾在Meta工作,开创了VR的手部输入和触觉技术研究。他最近与业界的合作因通过典范的产学合作开创Android XR的交互框架而获得2025年ACM SIGCHI奖项的认可,为XR操作系统建立了基础的输入方法和交互指南。

随着沉浸式体验变得日益复杂,高效的文本输入仍然是虚拟现实和增强现实(VR/AR)中无缝互动的重要障碍。从在虚拟工作空间中撰写电子邮件到在元宇宙中登录和社交,能够高效输入文本对所有扩展现实(XR)应用程序的可用性至关重要。

为了应对这一挑战,我来自伯明翰大学VR实验室的团队,与哥本哈根大学、亚利桑那州立大学、马克斯·普朗克智能系统研究所、西北大学和谷歌的研究人员共同开发了XR TEXT Trove——一个全面的研究计划,编纂了170多种针对XR的文本输入技术。TEXT Trove是一个结构化的文本输入技术库和一系列筛选器,旨在选择和突出各种文本输入方法在学术界和工业界的优缺点。

这些技术使用32个代码范围进行分类,包括13个交互属性,如输入设备、身体部位(用于输入)、并发性和触觉反馈方式,以及14个性能指标,如每分钟单词数(WPM)和总错误率(TER)。总体而言,技术数量和属性的丰富性为XR文本输入技术的现状提供了一个全面的概述。

我们的研究得出了几个关键结论。首先,文本输入性能本质上受到输入元素数量的限制(无论是手指、控制器还是其他字符选择器)。只有多指输入才能达到与常规PC键盘的触摸输入速度相当的性能。正如下面的图表所示,每增加一个输入元素(或手指)大约会为用户增加5 WPM的速度。

使用多个手指和不同输入设备的每分钟单词数(每个点代表研究中分析的一种技术)。
我们的研究还表明,触觉反馈、外部表面的存在以及仅手指尖可视化是改善打字性能的优选方式。例如,在表面上打字(而不是在空中)有助于提供更舒适和更高效的打字体验。外部表面还可以减少持续的肌肉紧张,使交互更加舒适,减少“大猩猩臂综合症”的发生。

最后,更有趣的是,到目前为止,没有任何替代方案能够完全取代键盘的格式,可能是因为其仍然提供最高的每分钟单词数。也许这是因为它还需要较高的学习曲线。我们相信,在VR中实现比PC更快的打字,主要路径可能在于通过机器学习和人工智能减少多指键盘上的按键行程。XR需要其自己的“滑动打字”时刻,这使得在智能手机上进行单指打字更高效。

在这方面,XR Text Trove的深入研究代表了向虚拟和增强现实中文本输入的更全面理解迈出了重要的一步。通过提供一个结构化且可搜索的数据库,我们旨在为研究人员和开发人员提供资源,为沉浸式未来中更高效和用户友好的文本输入解决方案铺平道路。

正如我们在论文中解释的,这项工作有可能对XR社区产生重大益处:“为了支持XR领域的研究和设计,我们在XR TEXT Trove网站上提供数据库和相关工具。完整的论文将在下个月在日本横滨的ACM CHI会议上发布。

我们团队中的几位作者是Locomotion Vault的共同创作者,该项目同样编纂了VR移动技术,以帮助研究人员和设计师更早识别和改进各种方法。