26年6月来自北大、厦门大学、韩国KAIST、台大、武汉大学、武汉理工、清华和福建厦门集美大学的论文“OMNIDRIVE: An LLM-choreographed Multi-agent World Model With Unified Latent Co-compression For Multi-view Driving Video Generation”。面向自动驾驶的生成式世界模型面临两大未解难题一是异构控制输入问题即自由形式语言、高精地图、轨迹和相机位姿处于互不兼容的表征空间中二是事后跨视角融合问题即各相机的潜表征latents无法有效编码全局三维几何结构。这两者归结为同一根源缺乏一种能在潜Tokenlatent-token层面将语言、几何与像素对齐的共享符号化中间语言。为此提出 OMNIDRIVE这是一个由大语言模型LLM协同调度的多智体世界模型它将可控多视角视频生成重新定义为一种“潜空间编排”过程。该模型由三个 Qwen2.5-VL 智体协同构建一个具备位置-觉察能力的单一 Token 序列架构师ARCHITECT负责将用户意图解析为结构化的世界脚本WORLDSCRIPT制图师CARTOGRAPHER将其映射为具有空间锚定属性的布局 Token审计员AUDITOR则提供跨视角评估反馈作为辅助监督信号。该序列与多视角视频数据通过一种“视角-时间”置换机制进行联合压缩从而在 3D 变分自编码器VAE的卷积感受野内强制建立相机间的几何约束。如图1 所示OMNIDRIVE 架构概览。(a) 多智体主管Multi-Agent Director架构师ARCHITECT将提示词解析为结构化的 WORLDSCRIPT制图师CARTOGRAPHER渲染多相机布局审核师AUDITOR生成跨视图评估意见。(b) 联合潜空间压缩Latent Co-Compression利用具备“视图-块-觉察填充”view-block-aware padding特性的 3D VAE对 RGB 帧与布局进行联合编码。© 协同编排的 MM-DiT将联合压缩后的潜表示切分为图块patch并与由智体生成的语义、几何、时序及评估流拼接构成驱动 MM-DiT 的统一 Token 序列。底部条形图展示位置 Token 的编码方案。生成过程通过修正流rectified-flowODE 求解。OMNIDRIVE 摒弃传统的“提示词prompt→ 编码器encoder”单体流水线转而采用由三个紧密耦合的 Qwen2.5-VL 智体组成的系统共同构建条件序列。至关重要的是每个智体的输出都位于与视觉潜变量相同的空间位置网格中这意味着这些智体不仅是在生成过程之前发挥作用而是直接参与到生成过程之中。智体 A —— ARCHITECT。给定自由形式的用户提示p_usr以及可选的多视图参考图像ARCHITECT 执行结构化信息提取 [28, 58]生成长度受限的 WORLDSCRIPT JSON。ARCHITECT 模型在元提示meta-promptm 的约束下运行该提示固定 JSON 键keys及值values的词汇表从而确保 Token 边界的确定性。利用冻结参数的 Qwen2.5-VL 文本头text head对渲染后的文本进行嵌入随后通过线性投影 W_txt 处理得到 C^sem。智体 B —— 制图器CARTOGRAPHER。制图器将WORLDSCRIPT转化为几何形式。针对每一对 (n, t)它会以程序化方式渲染出一张稀疏布局图像 Igeo_n,t其中包含(a) 基于相机 n 的外参利用固定的类别颜色表即车道、可行驶区域、人行横道等将高精地图HD-map栅格化(b) 利用投影函数 π(K_n, R_n, t_n, b_k) 将每个 3D 边框 b_k 投影到图像上并绘制带有类别编码轮廓线的边框© 绘制自车轨迹带 E_ego。完整的图像集合 {Igeo_n,t} 经历与 RGB 视频流相同的“视角-时间”排列变换并生成几何 Token 序列 Cgeo其索引方式与视觉 Token 序列 X 一致。相机外参 (R_n, t_n) 被表征为 6 维 Plücker 射线经由双层 MLP 嵌入为每个相机对应的一个单一 Token ccam_n并最终与 Csem拼接在一起。智体 C —— 评估器AUDITOR。在训练阶段每生成一个扩散样本后评估者会接收解码后的多视角裁剪图像以及WORLD-SCRIPT并输出结构化评估结果 R {(r_ij, a_ij)}_ij其中 r_ij 表示同一物理时刻下相机 i 与 j 之间的感知一致性得分a_ij 标注主要的失效模式例如色彩漂移、重影、拓扑错位。将 R 嵌入为评估token Crev并增加一个辅助目标引导 v_θ 向评估器的建议靠拢。在推理阶段评估器可选择性地参与测试时校正它对中间样本进行评分若 r̄_ij τ则触发单次精修步骤。这三个智体在 Token 坐标层面与扩散模型diffuser相绑定C^geo 与 X 共享位置索引C^rev 提供可微分的监督信号该信号反向传播至 v_theta而 C^sem 则位于同一坐标系下的偏移位置区域。移除其中任何一个智体都会导致可控性或跨视图一致性显著下降。潜联合压缩表征基础的核心在于对 RGB 立方体和 CARTOGRAPHER 几何立方体联合施加的一种视点级view-time置换操作Π。置换的张量被输入到一个在通用视频 [23] 上预训练过的单一 3D VAE 编码器 E_phi 中无需修改网络架构其中仅对最后的残差块进行微调而所有其他权重均直接迁移使用因为置换操作 Π 仅仅改变索引的顺序。为了利用物理同步性还在同一时刻捕获的不同视点间共享噪声终点即 z^(n,t)_1 z^(n’,t)_1这在 s ≈1 时将跨视点光度方差降低一半且不会限制渐近分布。针对伪时间栈的三个常见理论问题总结一下。(i) 感受野正确性在最高分辨率下宽度为 r_t 3 的时间核始终小于 N 6 个摄像头并且通过可学习的、视图-块-觉察的填充算子 VBP(·) 来屏蔽跨越视图边界的权重。(ii) 方差缩减当核触及 k ≤ r_t 个同一时刻的视图时沿伪时间轴的平均池化会减少方差(iii) Lipschitz 不变性由于 Π是正交置换因此 Lip(E_phi) 以及流形 M_z 上的修正流rectified-flowODE 均得以保持。综合来看这些特性使得 Π 在最差情况视图不相关下表现为恒等变换no-op而在典型情况同一时刻视图共享全局语义下则充当正则化项——这正是期望的行为。MM-DiT 中的协同生成协同压缩后的潜变量 z_0 经由 3D 卷积被切分为 Token 序列 X {x_l}其中每个 Token 均携带一个 3D RoPE 索引π(t, i, j)。随后所有由智体agent生成的条件被拼接成一个单一的确定性序列 S。在 MM-DiT 中多模态注意机制通过引入可控偏置进行增强该偏置仅应用于 X 与 Cgeo之间的跨模态模块cross-block。通过将各种模态投影至统一的 Token 网格并将几何 Token 绑定到像素坐标将 K 分支交叉注意机制转化为具有显式位置对齐特性的单一自注意机制该方法在 mIoU 指标上较 ControlNet 变体提升 5.6较加性交叉注意提升 3.1。训练与推理训练过程结合条件流匹配CFM损失 L_CFM 与两个正则化项即平滑项 L_sm 和审计损失 L_rev。基于 SD3 [7] 进行初始化并在 nuScenes [3] 数据集上进行训练输入分辨率为 1280×880序列长度为 32 帧使用 32 块 H200 GPU。训练采用三阶段课程学习策略仅语义 → 几何 → 审计总计 800k 次迭代逐步激活各条件输入流。在推理阶段用 K2 步 Heun 方法预测-校正对修正流rectified-flowODE 进行积分从 s1 到 0。“图像到视频”的条件生成任务被视为基于首帧多视图图像预测后续帧的过程——该模型并非自回归模型也不采用流式 Token 处理方式。此外采用一次性光度匹配one-shot photometric matching[41] 将重叠视场与 nuScenes 数据集中已标定的传感器偏移量进行对齐。设置仅使用 nuScenes [3] 数据集的 700 场景训练集包含 6 个摄像头、12 Hz 插值、填补间隙后约 3 万个片段进行训练并在 150 场景验证集上进行评估。图像和视频层面的保真度评估遵循 VBench/VBench/VBench-2.0 协议 [17, 18, 68]多视图一致性按视图评分并在对应时间戳处取平均值。此外引入两个位姿-觉察的指标EPC基于真值外参计算的对极光度误差和 OFC对极对应点上的 DINOv2 余弦相似度并通过 BEVFormer [27] 的 mAP/mIoU 以及 VBench-2.0 的 Scene/AS [68] 指标来评估可控性。所有三个智体共用一个 Qwen2.5-VL-7B-Instruct [2] 服务器分摊计算成本为 0.07 秒/样本。将本方法与 12 个已发表的基线模型 [4, 10, 11, 20, 21, 25, 34, 42, 51, 53, 56, 65] 进行了比较并仅报告了在各基线模型既定分辨率和帧数设置下针对 6 摄像头的评估结果。实现细节ARCHITECT 将自由形式的用户提示词 p_usr可选择搭配多视图参考图像转换为长度受限的 WORLDSCRIPT JSON以此驱动后续所有的生成过程。该组件具体实现为一个冻结参数的 Qwen2.5-VL-7B-Instruct [2] 模型通过 vLLM 部署并采用严格确定性的解码策略temperature0、top_p1、固定随机种子从而确保相同的提示词始终生成相同的 WORLDSCRIPT以保证结果的可复现性。CARTOGRAPHER 负责将符号化表征 WORLDSCRIPT 转化为像素对齐的几何形态。针对每一组相机-时间对 (n,t)其中 n {1, . . . , N} 且 t {1, . . . T}它会渲染出一幅稀疏布局图像 I^geo_n,t。AUDITOR 通过在训练期间提供跨视图的评估反馈信号以及在推理阶段提供可选的修正操作从而闭合智体交互回路。在每次扩散采样完成后它会接收解码后的多视图裁剪图像及 WORLDSCRIPT并生成结构化的评估结果 R {(r_ij, a_ij)_ij。