告别昂贵设备与人工标注:Meta以数据驱动方式重塑VR面部追踪
Meta Reality Labs团队推出了名为REFA的实时面部表情追踪方案,利用嵌入VR头显的红外摄像头,精确捕获用户面部动作。该方案通过数据驱动的方法,采用轻量化采集方案,构建了包含1.8万名受试者的面部数据集。团队开发了鲁棒的可微分渲染管道,自动提取面部表情标签,克服了传统VR面部追踪中的遮挡、成本和计算限制问题。经过多轮迭代训练,系统在表情识别准确性上取得显著提升,结果可以直接应用于虚拟角色开发。未来计划进一步提升在复杂情况下的表现。