FIFA世界杯决赛即将到来，虽然我们依然生活在大多数对法国对阵克罗地亚比赛感兴趣的人将一直盯着电视的时代，但来自华盛顿大学、Facebook和谷歌的研究人员刚刚让我们提前感受了未来不久的AR足球比赛的样子。

研究人员设计了一个端到端系统，用于创建真实足球比赛的动态三维重建，据他们在论文中称，这可以通过3D观看器或类似HoloLens的AR设备来观看。他们通过使用从EA的FIFA视频游戏中捕获的虚拟球员数据对其卷积神经网络（CNN）进行训练，从而为团队提供了将单眼YouTube视频转化为一种2D/3D混合形式的所需数据。
参与项目的研究人员包括华盛顿大学的Konstantinos Rematas、Ira Kemelmacher-Shlizerman（也是Facebook的一员）、Brian Curless和Steve Seitz（也是Google的一员）。

目前还有一些限制因素可能会降低您对“完美”的3D重建并从任何角度观看的期望：球员目前仍被投影为2D纹理，个别球员的位置仍然有些抖动，球也没有被跟踪，这是方程中不可或缺的部分，团队称这将来将实现。而且，由于基于单眼拍摄，遮挡也是个问题，因为球员的动作被相机遮挡，他们的纹理从视野中消失。
然而，在AR中观看（几乎）实时的足球比赛的意义仍然非常惊人，特别是在您的客厅咖啡桌上。

“对于一个足球比赛的单眼重建，存在许多挑战。我们必须估计相机相对于球场的位置，检测和追踪每个球员，重建他们的身体形状和姿势，并渲染组合的重建，”研究团队写道。

此外，团队表示，在AR设备（如HoloLens）上观看完整比赛还需要实时重建方法和高效数据压缩和流媒体传输方法才能将其传输到您的AR头盔上，所以要过一段时间才能实现观看现场比赛。

因为该系统依赖标准录像画面，所以它代表了当前采集技术现在可以实现的较低基准。尽管它基于4K视频，仍然存在一些不受欢迎的伪像，如色差、运动模糊和压缩伪像。

理想情况下，体育场应配置多个专用于AR捕获的摄像机，以获得最佳结果。这并不是该论文的总体目标，但它是实现AR 3D体育直播的一个明确基石。

该团队的研究将在计算机视觉和模式识别会议上发布，该会议将于6月18日至22日在犹他州盐湖城举行。