Facebook研究从虚拟对象的几何材质合成声音、触觉刺激
Facebook相信在未来几年中,虚拟媒体设计将经历一次变革。传统界面,如PC和智能手机,将被复杂的XR设备取代,这将颠覆虚拟媒体的设计方式。通过图形研究的支持,从传统的二维视觉内容到自适应三维视觉将是可能的。目前,虚拟媒体的视觉变革已经开始,但在从传统的音频和触觉设计过渡到全新的混合现实世界方面仍面临挑战。
在一篇名为《Hasti:用于纹理交互的触觉和音频合成》的论文中,Facebook Reality Labs借鉴了现代图形绘制方法,并利用了物理材质定义和物理启发的光传输模拟。他们的目标是开发一种实时方法,可以根据虚拟对象的几何和材质表示直接合成逼真的声音和触觉刺激。研究人员介绍了一种高速微触模拟方法,可以实时创建曲面高度分布,产生触觉信号来驱动振动致动器,并产生激励信号来驱动模态声合成,从而在交互虚拟环境中产生不同材质之间的真实接触声音。
这项研究提出了一种根据几何表示和对象材质特性合成触觉和音频反馈的方法,并探讨了虚拟对象的宏观、中观和微观几何表述。该方法可以作为向现有虚拟环境添加高质量触觉和音频反馈的手段,并提供逼真、详细的视觉效果。然而,该方法目前还有一些限制,如音频反馈不考虑虚拟对象的大小或形状。研究人员表示进一步的评估研究将揭示该方法的优势和局限性。