索尼研发基于头戴摄像头的虚拟现实化身生成技术
EgoAnimate技术通过采用单个头戴摄像头的俯视图,解决了生成数字化身中的视角转换问题,显著提升了虚拟呈现体验。这一系统通过模块化设计,分为两个阶段:第一阶段处理视角转换,第二阶段生成可动画的化身。其创新之处在于使用ControlNet进行姿态控制,并结合复合损失函数以提高生成质量。尽管目前还存在数据多样性和面部建模的局限性,EgoAnimate展现了在虚拟现实通信中的潜力,为更加普及的XR应用奠定了基础。
Insider