VR播客《VR Voices Podcast》 我的名字叫Jan Wessel，我主要从事触觉技术方面的工作。但是今年我来参加IEEE VR会议，我想我演讲的主题是有很多非常复杂的自然过程，包括与天然材料、植物纤维、颗粒物质等的相互作用，这些过程在物理上非常复杂，因此在虚拟环境中进行交互模拟具有挑战性。但是，尽管如此，它们引发的感知品质非常简单，几乎是一维。比如脚下雪的咯吱声或者手中树枝的断裂声。因此，有种观点认为，这些过程存在着某种更小的完整性，某种更简单的特征，我们应该能够捕捉到它们。实际上，我的背景最初是物理学出身。所以，有时我的第一反应是，我们能够以最小的物理模型捕捉到它们的特征是什么。提出这种问题也有实际的原因。因为如果我们尝试实时模拟断裂或真实摩擦，我们发现这是非常具有挑战性的。我们要么牺牲真实感，要么牺牲实时性能。因此，如果我们能够开发出能够有效捕捉到所涉及的物理现象的物理精确模型，我们就能够提高性能。我在触觉技术和稳定性方面做了很多工作，有时视觉渲染也存在问题，但同时保留了这些过程的感知显著属性。所以我今天介绍的工作是关于纤维复合材料中的断裂，比如木材，以及我们如何通过一个相对简单的随机过程来描述分支的断裂等，这个过程可以非常高效地进行模拟。对我来说，让我感到惊讶的是，看看已经有了很多关于创建这些数学模型以模拟木材等的工作。然后，当你把它打破时，就会有许多数千个不同的纤维，每个纤维都有自己的模型，但是你仍然可以创建一个随着时间推移计算它们行为的概率分布，并将这些非常复杂的方程转换为可以实时计算的东西。所以我对能够做到这一点感到惊讶，而且，你知道，这种努力是由于希望将这些元素置于虚拟现实环境内以进行实时计算的愿望推动的。所以我就有了这种印象，哇，有很多这些类型的已经被证实的物理模型正在被转换和逼近，以便我们能够在实时环境中模拟它们。我不知道你是否也有同样的感觉？对，是的。自然界非常复杂。有很多非常有趣的物理现象，随着虚拟环境的发展，和我开始接触这个领域的时候相比，如今在视觉上和声音上所能呈现的东西令人难以置信。因此，我认为越来越多的人对于复制自然界给予它真实熟悉质感的特性非常感兴趣。你知道，只要我们将手指滑动在任何表面上，比如用麦克风这样的传感器记录到的结果是什么？你所感受到的是非常丰富且几乎是伪随机的信号，而这些信号神经系统非常适应从中提取信息。所以，人们可以通过触觉感觉立即通过质地来辨别触摸表面，比如纺织品。你可以立即辨别出质地。所以这些微妙的物理现象可以承载大量的意义。我认为这对于虚拟现实的发展来说是一个非常有趣的方向。那么也许你可以把你在这里做的工作与其他一些与触觉有关的工作联系起来，包括你在触觉技术方面的工作，以及它们之间的联系。是的，这是我整体研究的一部分。总的来说，我的研究目标是回答我们在触摸物体时感受到的是什么，以及我们如何通过新技术来重现这种感觉。其中，我们所感受到的是指触摸和方向感的机械过程。这也与我们触摸物体时皮肤感受到的刺激有关。因此，我们做一些建模，比如我今天在这里介绍的工作，以捕捉物理现象。我们还在实验室中开发仪器，以全新的方式测量当我们触摸物体时手部感受到的刺激。因此，如果你抓住一个物体，比如你的麦克风，或者在手中操纵它，你会感受到皮肤变形的复杂模式，而大脑则能够将这些信息与手部的运动融合起来，构建一个关于这个物体的形状的强烈和稳定的感知，比如这是一个麦克风的形状，它很长，在末端有一个软软的东西等等。这个过程的展开方式是未知的，实际上，该过程的基本输入是未知的。因此，我们开发手戴传感器的目的是为了测量人们触摸物体时皮肤感知到的刺激以及机械信息传播区手部的过程，并捕捉人们在与物体交互时手部的运动。我们首先要对人们触摸物体时所感受到的东西进行表征。了解这一点之后，我们想知道这些信号的哪些部分真正具有感知上的意义，以及我们如何重现这些信号。最终，我们希望触觉的显示器能够像视觉显示器一样具有感知上的即时性、丰富性和生动性，这个愿景目前还遥远。是的，在IEEE VR会议上，我感觉到了从低保真度到中等保真度再到高保真度的阶段性差异，而在触觉方面，我看到的工作中那些真正好用的触觉设备是低保真度的，比如非常简单的振动。但是一旦你尝试进入尴尬之谷或者中等保真度，它就变得感觉尴尬和不真实，几乎像是最好要么不做任何操作，要么降低到低保真度。但似乎有人正在努力实现更高保真度的触觉反馈，或者通过使用专门为特定用途设计的触觉设备来达到特定用例，而不是通用的触觉设备。从你的角度来看，我很好奇，你如何看待触觉尴尬之谷和触觉的发展方向？我认为部分原因是因为目前在使用研究设备进行触觉模拟时涉及到的成本问题。我们在实验室里有一些设备，能够在虚拟环境中产生真实感十足的触觉感觉，只要我们通过虚拟工具来进行交互。所以你现在可以做得非常好。但是，能够做到这一点的设备对于消费者来说太昂贵，它们价格在数千美元的范围内。同时，你也会面临严重的妥协，因为如果我只能通过刚性工具来触摸环境，与我在日常环境中使用双手的自然性相比，这是一个巨大的限制。因此，为了实现保真度，现在需要做出严重的功能妥协。我认为将来两方面都会有改进。人们将继续改进非常狭义的定制触觉设备，但我们也看到越来越多的设备选择范围。在触摸屏上获得非常高保真度的触摸反馈，通过平面表面提供主动的触摸反馈，而不是像低鸣度那样。还有其他一些佩戴在身体上的设备也开始出现。我们实验室也在朝着这个方向努力。其余的很多人也是如此，我对能够实现这一点充满信心。但是视觉社区和声音社区已经在这方面领先很多，所以在触觉方面，我们正在努力赶上。你想象一下类似于触觉手套的东西，能够实现六个自由度的交互，能够感受到实际的力反馈或触感，或者你提到的屏幕，在上面放上你的手，然后感受到这些触感？也许你可以谈谈你认为的最佳触觉界面以及未来的发展方向？哦，我认为这将取决于具体的应用。这个问题与我用Oculus Rift或移动设备的头戴式显示器、平板显示器之类的问题类似，实际上取决于具体的背景。但显然，可佩戴的触觉和手部的可穿戴设备有很多机会。一个挑战是手的感官模态不是六自由度，而是近乎无限自由度。因此，在某种意义上，为了重现触感体验，我们必须为整个手重现触摸图像。而且，这必须以比眼睛所需的速度更快的速度完成，因为触觉的感知速度比视觉快得多。所以还有很多工作要做，但是我认为，如今你已经可以看到触觉交互的不同模型，这是非常有希望的。这意味着人们正在扩大他们触觉交互的概念。从应用或商业的角度来看，产品将在未来找到非常不同的市场定位。你能谈一下当我们体验触觉反馈时，认知上发生了什么吗？哦，这很难说。我去触摸了它，它感觉起来是这样的。通常情况下，我们在皮肤上有机械刺激，这些刺激通过皮肤中的专门感受器传导为电信号，在神经系统中传播到大脑接受进一步处理，最终与运动系统的信息相结合。通常来说，被动提供的触感并不是很有意义。真正丰富的触感是当我们主动去触摸和操作物体时产生的。所以真正的触摸体验是感觉和运动活动的完美结合。当通过IQOS Rift头戴显示器和Valve的HTC Vive进行交互时，它们的刷新率似乎在90到120赫兹之间。那么对于手的触觉反馈，更新率需要多高？要看我们在谈论哪个触觉子系统。比如对于温度或热交换敏感的子系统，它的速度比较慢。所以，一两赫兹的带宽可能是足够的。而对于对皮肤压力敏感的子系统，你可能需要几十赫兹。你还可以将这个层次扩展到千赫兹的水平。这大致上是触感的生理极限，大约是每秒1000帧。如果我们要渲染力量，我们想要实现精确的渲染，通常需要的帧率要高大约是之前的一个数量级，以确保无失真的重现和稳定性。所以稳定性问题对于触觉模态来说真的特别重要，因为如果我们提供力量，那么通常我们就会产生位移，所以手和触觉或反馈设备之间会产生持续的交流。实践上，为了以一种感觉高而清晰的方式进行交流，我们希望的采样率至少达到每秒5000帧，即5kHz，并且最好达到每秒10000帧。哇，太神奇了。有实际的触觉设备可以实现这种力反馈的精确性吗？是的，我想Novent Falcon可能在几千赫兹的范围内。这是一种可用于消费者的触觉界面。该设备的质量受到制造质量、材料等的限制。在我的实验室中，我们还有一种以类似方式工作的商用设备，来自Force Dimension，它的工作范围为5至10千赫兹。所以我们对触觉界面的习惯并不完整，因为为了稳定地模拟如此频率的触觉交互，我们还需要非常低的延迟。延迟会引入不稳定性，因此通常我们要求的延迟不超过一个采样周期，也就是约100微秒的延迟，非常小。我在音频方面也有很多工作，你知道，音频的采样率很高，可能是几万赫兹，比如48千赫兹。但是延迟通常不是什么问题。我注意到你的物理模型采样频率是48千赫兹，这是因为音频还是实际的物理模拟也是以如此快的速度运行的吗？它们都是以如此快的速度运行的，物理模拟和音频模拟。所以，我提出的这个模型，我们能够非常快速地解决物理问题，使用的方法与音频合成类似，所以以音频速度运行没有问题。哇，太棒了。那你见过哪些最好的触觉设备呢？哦，我不知道，我非常喜欢Force Dimension的商用设备。尽管，你知道，正如我所说，它们受到工具介导交互的限制，但是非常，非常好的设计，质量轻，刚度高，所以它们触感非常清晰。很多设备已经存在了很长时间，Butterfleye是一种小型工作区设备，主要用于牙科应用，带宽非常高。我自己喜欢具有良好时间分辨率的东西，这样一切都会感觉清晰，但是，是的，市面上有很多选择。我们在IEEE VR会议上，还有触觉研讨会，最新最好的触觉设备是在这个IEEE触觉会议上展示的吗？是的，IEEE世界触觉会议（今年在芝加哥）是旗舰论坛，然后IEEE触觉研讨会与该会议交替举办，两者都是呈现触觉研究的卓越会议，这是你在欧洲能看到最新的触觉研究的地方。EuroHaptics会议起到类似的作用。最后，你认为虚拟现实和触觉相结合的最终潜力是什么？哦，大家都想要一个全息舱。对吧？所以你不仅想要进入一个沉浸式的虚拟环境，还想能够与之互动，触摸物体和移动。你知道，如果我们生活在一个无法触摸和感受任何东西的世界中，那么我们的生活将非常贫乏。所以，如果我们想要创建的虚拟体验与现实世界一样引人入胜，我们将不得不弥合这个差距。好的，非常感谢。谢谢你，谢谢你的聆听。如果你想支持Voices of VR播客的声音，请考虑在patreon.com/voicesofvr成为赞助人。