韩国技术研究员开发基于文本输入实现精确3D手部交互运动的技术
韩国蔚山科学技术院的研究团队开发了一种名为Text2HOI的技术,可以通过简单的文本输入实现精确的3D运动,无需复杂的初始设置。Text2HOI可以通过文本命令执行对象交互操作,适用于VR/AR、机器人和医疗保健等广泛的行业。
由于现有的ground truth数据集在交互类型和对象类别方面不能泛化,研究团队将交互生成任务分解为手-对象接触生成和手对象运动生成两个子任务。接触生成使用基于VAE的网络来生成手的表面和对象之间接触的概率。运动生成使用基于Transformer的扩散模型以及3D contact map作为先验来生成手-物运动。同时,研究团队还引入了手细化器模块来提高物体与手接触的稳定性。
实验证明,与其他基线方法相比,Text2HOI可以产生更真实、更多样的交互。该技术可应用于模拟医疗程序、控制游戏和VR/AR中的角色行为等不同领域,并为与机器人的自然互动开辟了新的可能性。研究人员对Text2HOI的广泛应用表示乐观,并指出了它在推进VR/AR、机器人和医疗领域的潜力。