总部位于日本的VR头显制造商FOVE正在利用他们的眼动追踪技术进行一项新项目:与筑波大学特殊教育学校合作的“眼睛弹钢琴”,旨在为身体残障学生带来音乐创作的乐趣。
将低延迟眼动追踪技术整合到头戴显示设备中,被视为提升虚拟现实沉浸感的下一个重要突破。理想情况下,该技术可通过使用凹视渲染技术来维持高性能应用,该技术允许计算机GPU只在凹视区域(即感知高细节的视野中心区域)集中渲染图形。然而,这项技术的用途远不止于此。
自20世纪80年代家庭电脑革命以来,眼动追踪技术一直为身体残障群体提供服务,但随着Intel旗下Tobii EyeX等外设的价格和体积降低,这项技术在非常不同的场景中找到了应用:FOVE与筑波大学特殊教育学校合作的众筹项目“眼睛弹钢琴”,该项目将公司的VR头显连接到自动钢琴的控制单元上。
FOVE找来了17岁的沼尻康大(Kota Numajiri),他是筑波大学特殊教育学校身体残疾学生的一位学生,以帮助展示该系统。完成后,通过沼尻康大的反馈意见,特别开发的图形用户界面将被部分应用于系统。
仅需通过注视和眨眼就能选择单音或和弦,而将头部向下倾斜将向软件发送停止音符的信号,就像钢琴的踏板一样,实现真正的无需手动操作。经过四个月的开发和系统训练,康大准备在学校的圣诞音乐会上展示他新习得的技能,该音乐会是由他的同学们每年举办一次。
筑波大学支持这项倡议,计划通过慈善众筹网站JustGiving向全国135所身体残障学校(按部门计算为334所学校)捐赠“眼睛弹钢琴”设备。
捐赠给“眼睛弹钢琴”(点击英文选项)
支持者回报:
1000日元(8.40美元) – 项目团队将通过电子邮件向您发送致谢以及一个制作过程的限量版影片。
3000日元(25美元) – 支持者的名字将被列在项目主页上。
5000日元(42美元) – 将发送由“眼睛弹钢琴”系统创作的钢琴音频。
10000日元(84美元) – 邀请参加在东京举行的项目团队网络活动。您可以听取项目回顾,体验系统的实际使用。
50000日元(420美元) – 邀请参加在东京举行的项目团队网络活动。您可以听取项目回顾,体验系统的实际使用。之后,您还可以参加开发成员的社交聚会。
100000日元(840美元)- FOVE原型设备 – 完成这个项目后,您将收到一款用于“眼睛弹钢琴”的FOVE原型设备。这只包括头戴显示设备,不包括电子钢琴。
Road to VR团队上周在2015年CES展览会上试用了FOVE最新的VR头显原型,详情即将发布。