中美研究员利用GPT-4V为XR文生3D场景建立评估指标
文生图、文生视频和文生3D等领域正在快速发展中。这些文生技术与XR结合,可以快速生成各种逼真的场景。然而,在这些技术的初期发展中,评估指标的缺乏可能会是一个问题。为了解决这一问题,香港中文大学、斯坦福大学、Adobe、南洋理工大学和上海人工智能实验室组成的团队开发了一个名为GPT-4V的评估指标,它能够与人类判断保持一致,并提供高效全面的文生3D模型评估。然而,现有的评估指标通常缺乏针对多种3D评估需求的通用性,而用户研究又很难扩展和成本较高。因此,团队提出了一种利用GPT-4V的框架来创建自动度量标准,以满足各种评估需求,并与人类判断紧密结合。经过初步实验证明,这一框架可以超越现有指标,在不同评估标准中与人类判断更一致地评估文生3D模型。然而,该框架仍然面临一些挑战,如扩大研究规模、模型的响应不准确、构建对抗模式攻击等。总的来说,这项研究为文生3D模型的评估提供了一个有前景的新框架。