在2017年SIGGRAPH会议上,一支由图形研究人员、大学和技术公司组成的广泛团队展示了关于VR数字人物表现的最新研究成果。先进的捕捉、绑定和渲染技术为在计算机内实时重现人物形象的艺术设置了一道新的壁垒。
在SIGGRAPH 2017会议期间展示的VR体验名为MEETMIKE,其中包含了VFX记者Mike Seymour的全数字版本,由现实生活中的Seymour实时“驱动”和渲染。在这个体验中,Seymour担任主持人,与会议期间的行业资深人士和研究人员进行VR内的采访。还有其他的参与者佩戴VR头盔,可以在虚拟工作室内观看采访。
结果是Seymour的一个相当惊人的表现,使用Epic的虚幻引擎在VR中以90 FPS的速度进行渲染,细致地呈现出眉毛、睫毛上的复杂细节,皮肤毛孔上的明亮高光以及精细的面部模型。
为了实现这一点,Seymour佩戴了一个Technoprops的立体相机设备,用于观察他的面部运动。面部图像经过Cubic Motion的技术进行跟踪和解算,并将数据传输到3Lateral创建的面部绑定工具中,该工具基于USC-ICT的Wikihuman项目中创建的Seymour的扫描结果。Seymour的fxguide进一步详细介绍了这个项目:
MEETMIKE在实时渲染中含有约440,000个三角形,这意味着VR立体渲染约每9毫秒进行一次,其中75%的计算资源用于头发。
Mike的面部绑定使用约80个关节,主要用于头发和面部毛发的运动。
面部网格只使用了约10个关节 – 这些关节用于下巴、眼睛和舌头的动作,以增加更好的弧线运动。
这些与大约750个表情混合形状结合在一起,形成头部网格的最终版本。
系统使用了复杂的传统软件设计和三个深度学习人工智能引擎。
由Seymour和Epic Games的研究人员Chris Evans和Kim Libreri发表的一篇题为“Meet Mike: Epic Avatars”的论文更详细地介绍了这个项目的背景。
根据我们对项目的阅读,尽管有些不明确,但听起来数字化的Seymour的渲染是在一台配备GTX 1080 Ti GPU和32GB内存的PC上完成的,而其他计算机则辅助该设置,允许主持人的嘉宾和多位观众以VR形式观看场景。我们已联系对方以确定确切的硬件和渲染设置。
0