由阿里巴巴集团、香港大学、滑铁卢大学、Vector Institute 的研究者提出的、AI 驱动的世界生成与实时视频生成技术「The Matrix」正式发布！
The Matrix
用于真实世界模拟的、首个实时、帧级移动控制！
AI 让现实与幻想的界限变得模糊，那么我们距离实现《黑客帝国》（1999）中那种完全沉浸式交互世界的愿景还有多远？请想象一个可在实时生成、视觉效果足以媲美现实本身的无限数字宇宙。这个项目是朝着这一愿景迈出的开创性一步，也是人类独有的“矩阵”的第一次窥见。我们的系统通过实现以下能力，开辟了世界模拟的新前沿：
在用户交互中达到与电影中描绘的响应性相媲美的帧级精确度。
通过 AAA 级视觉效果实现几乎与现实无法区分的沉浸式场景。
超越当前视频模型局限、支持无限探索的无限生成能力。用于实时帧级控制生成无限长度超写实视频的基础世界模型。
- 无限长度视频生成
- 720p 高质量渲染
- 16 FPS 的实时帧级控制
- 向真实世界视频控制泛化
主要创新：通过一种名为 Shift Window Denoise Process Model 的全新技术，实现扩散模型与一致性模型的实时自回归生成。
The Matrix 可在第一人称视角和第三人称视角下提供实时且响应迅速的控制，从而无缝探索动态环境。由于其基于 Forza Horizon 5 和 Cyberpunk 2077 等 AAA 游戏数据以及真实世界视频进行训练，用户可以在不间断的连续视频中穿行于沙漠、城市、森林等多种地形。每个键盘指令都会以帧级精度响应，实现与 AAA 游戏类似的 4 帧响应。
有趣的是，The Matrix 通过结合大量互联网视频集合与 AAA 游戏画面进行预训练，展现出了出色的领域泛化能力。例如，它可以实现驾驶 BMW X3 穿过办公区域之类的场景。
１４分钟行驶视频
这是一个示例，展示 The Matrix 生成一段超过 14 分钟（>13440 帧）的超长视频，并提供精确的实时控制。更多示例请访问我们的项目页面：https://t.co/WZnv6Y6kl8。pic.twitter.com/NOHMb7f3sj
— Hongyang Zhang (@hongyangzh) November 20, 2024
从近期 AI 技术的发展来看，这本就是可以预期的方向，但没想到会这么快出现……生成精度看起来还不算高，不过最重要的是它能够实时实现，这一点非常惊人。
几年后会变成什么样呢……今后这一领域大概会发生很多变化吧。
「The Matrix」目前论文已公开，代码为 ComingSoon。
详情请查看官方项目页面！
链接
The Matrix
论文 PDF
Introducing The Matrix — a foundation world model for generating infinite-length, hyper-realistic videos with real-time, frame-level control:
– Infinite-length video generation
– 720p high-quality rendering
– Real-time, frame-level control at 16 FPS
– Generalization to… pic.twitter.com/84EvrDOmZT— Hongyang Zhang (@hongyangzh) November 20, 2024