/ Voiceofvr / 0浏览

Sarah Amsellem讨论使用Faceshift进行面部动画捕捉。

Voices of VR播客,我叫Sarah Amsellem,我是Phase Shift的首席工程师。我们的主要业务是为您提供软件,使得为3D模型添加动画变得简单。基本上,我们使用Kinect、PrimeSense等3D相机,现在还支持英特尔的相机。您可以使用这些相机在应用程序中自己训练一个人的轮廓。设置过程大约需要15分钟,非常容易操作。之后,您就可以进行实时跟踪和动画化了。

了解了。那么实现这种细微的面部动画需要哪种绑定?或者你建议人们如何将Phase Shift的数据融入到他们的模型中呢?

首先,非常重要的是要有一个优秀的模型。您需要使用Maya或其他软件构建自己的模型和绑定。在Phase Shift中,我们支持50个混合形状(blend shapes)。重要的是将您自己的模型从您的绑定重新映射到我们的模板模型上。这就是为什么模型的质量很重要,因为它最终将影响到跟踪的输出质量。

如果我不是3D建模师,或者我们的听众中有人不是3D建模师,您会推荐哪里或者提供哪些资源来获取一个已经设置好可以直接使用的3D模型呢?

我对这些并不是很熟悉,因为我更多地从事工程方面,而不是艺术方面。但我知道有很多其他公司提供模型,您可以很容易地创建和组合模型,然后导入到Phase Shift中进行重新映射和动画制作。

请告诉我一下人们实际上如何使用这个技术的流程。什么样的使用案例您们认为Phase Shift最常被使用?

主要是在游戏和电影中使用。我们有很多独立的人员和自由职业者,但也有很多大型工作室。比如,我们最近与梦工厂合作了很多,他们制作了一些用于YouTube的动画短片,其中使用了Phase Shift。他们通常会设置一个模拟舞台,有一个演员带着一个带有3D传感器的头盔进行面部动画录制。然后,在完成所有录制之后,他们会通过动画师对片段进行一些后期处理,并将其作为动画的基础。还有很多独立人员在各种项目中使用它。

那么,请告诉我一下将RealSense或PrimeSense相机放在笔记本电脑顶部使用并捕捉面部与佩戴头盔使用的不同案例。

通过佩戴头盔,您会更加灵活。您还可以将其与全身模拟系统结合使用。这是大多数大型工作室喜欢使用的方式,因为它们可以使用时间码等方法将身体与面部同步。当然,只是坐在电脑前这种方式也有效,这取决于您想要实现的具体目标。

那么,告诉我一些关于如何将Phase Shift与现有游戏引擎集成的过程。我们为Unity、Maya和MotionBuilder提供免费插件。您可以从Phase Shift Studio流式传输到这些插件中,也可以在其中导入和播放您使用Phase Shift录制的片段,并可以将Phase Shift导出为FBX等各种格式。

有人会想要记录来自FaceShift的原始数据,然后根据这些数据构建模型,或者您实际上需要一个已经设置好的模型?我想知道,如果您正在尝试从零开始构建模型,通过捕捉数据,或者它是否需要与实际的3D模型相结合。

当您开始使用Phase Shift时,您已经有一个项目在进行中。通常情况下,您首先需要一个漂亮的3D模型,然后再对其进行制作片段。拥有一个漂亮的模型非常重要,否则您将无法直接看到跟踪的输出效果。但是,当然,您仍然可以重复使用之前制作的片段,并尝试将它们应用到其他模型中。因此,它具有很大的灵活性。您可以保存这些片段,保留它们,并可以稍后将它们映射到其他模型中。

我们之前谈到了佩戴虚拟现实头戴式显示设备以及在虚拟现实环境中同时进行面部跟踪的挑战。可以详细介绍一下为什么在虚拟现实中进行面部跟踪很具有挑战性,以及使用FaceShift的难点是什么?

主要问题是您佩戴了头盔,我们无法完全看到您的整个面部,这是一个大问题。在虚拟现实环境中,您希望能够与虚拟角色进行良好的视线接触。所以理想的设置是在头盔中具有一个眼动追踪器来跟踪人的眼睛,然后再有另一个摄像头来跟踪其他面部信息,然后将这些信息结合起来,以获得在虚拟现实环境中良好的跟踪效果。

那么,FaceShift未来有什么发展计划?我们将支持英特尔RealSense相机,并且现在这个相机将集成到笔记本电脑中,我们也尝试进入消费市场,希望发布一些适用于任何人的优秀应用程序。

那么,Phase Shift有免费版和专业版吗?Phase Shift Studio有没有价格模式?

有Phase Shift Studio,我们还计划推出Phase Shift Studio Pro,更针对那些需要更多运动捕捉系统的工作室。Phase Shift Studio可以免费下载,并提供30天的免费试用。您只需要一个传感器即可使用。

那么,FaceShift的价格是多少?

FaceShift Studio是每年1500美元的订阅费用,FaceShift Studio Pro将是3500美元。

那么您是否也销售人们用于固定相机或更灵活使用的头盔?

头盔仍然是原型,我们还没有开始销售,但我们正在努力开发。我们还将提供一些DIY的解决方案,例如使用自行车头盔和GoPro支架制作的相对便宜的头盔,我们还推出了一个SnorriCam背心,对于一些工作室来说也可能非常有用。

非常感谢!谢谢!

0

  1. This post has no comment yet

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注