开云·kaiyun「中国」体育官方网站 登录入口

东说念主类离电影《黑客帝国》的场景，似乎又近了一步。

因为就在刚刚，一个与电影同名的、首个 AI 基础宇宙模拟器——The Matrix问世。

它仍是不错兑现生成无尽长、高保真720p真确场景视频，何况照旧不错及时交互的那种！

话未几说，平直来看一个长达14 分钟的效劳：

而这个时长还仅仅 demo 展示的长度，The Matrix 不错作念到在长达 1 个小时的时辰里，穿梭沙漠、草原、水体和城市等景不雅。

在此时间，还不错通过按键 W（前）、S（后）、A（左）和 D（右）来及时收尾——

每秒 16 帧，帧帧可控。

The Matrix 技俩是由全华东说念主团队打造，作家诀别来自阿里巴巴、香港大学、滑铁卢大学和加拿大 AI 商榷机构 Vector Insititute。

而之是以团队将商榷取名为 The Matrix，是因为其效劳和本色与电影《黑客帝国》中的一句话访佛：

这是你熟习的宇宙；这是 20 世纪末的宇宙。它现时只存在于咱们称之为 Matrix 的神经交互模拟系统中。

This is the world that you know; the world as it was at the end of the 20th century. It exists now only as part of a neural-interactive simulation that we call the Matrix.

网友们看罢，驳斥区仍是一派" crazy "、" amazing "的声息：

但除了无尽生成、效劳传神和及时可控以外，The Matrix 还解锁了一项才调。

零样本，就不错平直泛化

The Matrix 的查验数据主要由两部分构成。

当先是通过像《极限竞速：地平线》和《赛博一又克 2077》这么的 3A 游戏的监督数据来进行查验；其次再辅以多半的践诺宇宙场景（如东京街头）的无监督视频。

而与以往商榷不同的是，The Matrix 不错在莫得上述数据学习的情况下（零样本），不错清楚和展望不同环境中物体的步履和交互。

举例底下这个"良马 X3 在办公环境中行驶"的场景，这是在游戏数据和践诺宇宙数据中皆未出现过的环境：

再如"车在水里拍浮"：

The Matrix 还赞助以第一视角的形态来看宇宙：

就连真确宇宙中的物体，致使东说念主物，皆是可控的：

从实验收尾上来看，与近期主流的游戏仿真生成模子相比，不管是时长照旧效劳等，The Matrix 皆仍是达到了跳动的效劳：

若何作念到的？

从时间角度来看，The Matrix 的中枢由三大模块构成。

当先是交互模块 （Interactive Module）。

这个模块用于清楚用户的输入（如键盘输入）并将其整合到视频生成中，兑现帧级别的精准收尾。

为了增强模子的交互性，商榷东说念主员对一个预查验的 Diffusion Transformer ( DiT ) 模子进行调优，使得交互模块不仅大约应答已知数据，还能泛化到无标签的数据。

其次是移窗去噪经由模子  （Shift-Window Denoising Process Model, Swin-DPM）。

这个新颖的扩散模子通过使用滑动的时辰窗口来处理万古辰依赖干系，从而兑现无尽长视频的生成。

该模子大约以连气儿、平滑的形态生成视频，管束了传统模子在长序列生成时遭受的挂念瓶颈。

终末是流一致性模子 （Stream Consistency Model, SCM）。

为了兑践诺时生成，The Matrix 集成了一种名为流一致性模子的时间，使得推理速率加速 10-20 倍，最终兑现 8-16 FPS 的及时生成速率。

此外，商榷东说念主员还设置了一个名为GameData的平台，用于自动拿获游戏中的景况数据和视频帧，并生成标注的行为帧数据集。

这个数据汇集结了真确宇宙的视频数据，既匡助模子学习具体行为收尾，又增强了模子的视觉质料和域泛化才调。

团队先容

正如咱们刚才提到的，The Matrix 的作家均为华东说念主。

其中，技俩追究东说念主主要是两位，诀别是 Hongyang Zhang 和 Ruili Feng。

Hongyang Zhang 现时是滑铁卢大学的助理老师，率领 SafeAI Lab；其主要商榷标的包括基础模子的商榷。

另一位则是来自阿里巴巴的 Ruili Feng。

如若民众对商榷感趣味，可戳下方流畅检讨确定。

参考流畅：

[ 1 ] https://thematrix1999.github.io/

[ 2 ] https://thematrix1999.github.io/article/the_matrix.pdf

[ 3 ] https://x.com/hongyangzh/status/1859288829825515810

[ 4 ] https://x.com/SmokeAwayyy/status/1859369842647892325kaiyun体育网页版登录