Oculus发布了一个专门的Unity插件，旨在自动检测和转换语音流至虚拟角色的唇部动作。

在过去几年中，Oculus在研发方面投入了大量资金，这导致他们实验室中产生了一些受欢迎但有些意外的新进展。在Unity的2016 Vision VR/Summit上，该公司发布了一个专门用于生成逼真化身口型动画的唇部同步插件，该插件通过分析音频流生成。
这个新的Unity引擎插件可以分析固定或实时的音频流，例如麦克风捕获的实时语音聊天，从而为现实中的化身生成潜在逼真的唇部动画。

该系统处理音频流，并创建一组称为“口型”的值。对于不熟悉这个术语的人（直到刚才我也不熟悉），根据随附插件发布的文档，口型是“与特定语音声音相对应的嘴唇和面部姿势或表情”。那么，将该功能集成到游戏角色中，无论是人类还是AI控制的角色，在理论上看起来都像是真的在说你听到的话。插件的文档进一步说明：
我们的系统目前映射到15个不同的口型目标：sil、PP、FF、TH、DD、kk、CH、SS、nn、RR、aa、E、ih、oh和ou。这些口型对应于人们产生的与它们所指的语音声音相对应的表情，例如，sil口型对应于无声/中性表情，PP口型似乎发出“popcorn”中的第一个音节的发音，依此类推。
尽管这项技术具有多种用途，但考虑到最近发布的Gear VR平台上的Oculus Social，你必须认为该公司在”销售”有用的人类互动体验的想法上非常强调，因为这个发布与核心虚拟现实技术有些边缘关系。
您可以在这里获取适用于Unity 5的新插件。如果有任何开发者有机会尝试它，请分享一些实例。