法国研究员介绍可泛化人类特征的NeRF新框架HFNeRF
近期,法国蔚蓝海岸大学团队在新视图合成方面取得了重要进展。在以往的NeRF方法中,虽然可以从少量图像中生成新视图,但无法捕获跨实例共享的底层结构特征。为了解决这个问题,团队提出了一种名为HFNeRF的方法,旨在利用预训练的图像编码器生成人类生物力学特征。HFNeRF利用2D预训练的基础模型和神经渲染学习3D中的人类特征,并利用体渲染生成2D特征图。实验结果显示,HFNeRF在学习颜色、几何和人体骨骼方面取得了成功。这一研究对于实现逼真的自定义虚拟化身在AR/VR环境中至关重要。此外,HFNeRF方法还具备扩展性和普适性,可以应用于其他生物力学特性的学习。研究人员计划进一步扩展实验以涵盖更多数据集,并与其他方法进行比较。