研究员展示高质量实时对话互动的数字化身生成技术
斯蒂文斯理工学院、佐治亚理工学院和伊利诺伊大学厄巴纳-香槟分校的研究人员共同开发了一种基于生成式模型的实时交互框架,名为RITA。该框架可以将用户上传的照片转换为能够实时对话互动的数字化身,并利用生成式建模的最新进展来增强用户体验和开拓虚拟现实和游戏应用的新途径。RITA的研究展示了集成计算机视觉和自然语言处理技术以创建身临其境和交互式数字角色的潜力。然而,由于视频生成的固有延迟,实时应用难以实现。RITA的研究团队通过提出一种新颖的架构,结合了实时处理的即时性和生成模型的深度,以动画化静态肖像。通过集成实时反馈机制和大型语言模型的创新应用,用户可以在一个无缝的、响应式的环境中与虚拟角色互动。RITA在实验证明在延迟、质量和适用性方面优于现有模型,预示着交互式数字化身的新时代的到来。