Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.007 — 2026-07-11
PAPER HF 42 约 6 分钟

视频预训练开始扩展MoE

LingBot-Video把MoE引入机器人视频预训练,尝试补上漂亮画面与物理行动之间的落差。

你让 AI 生成一段“机器人把杯子放进水槽”的视频,画面可能很漂亮,动作却未必真的做得成:杯子会漂移,手臂可能穿过物体,模型算得还不能太慢。问题在于,普通视频生成重视观赏效果和创意,机器人控制更在乎物理可信、任务完成和及时反应。训练目标与实际用途不一致,就是“领域错位”(domain mismatch)。7 月 8 日提交的论文提出 LingBot-Video,试图从模型架构、训练数据和奖励标准三处一起缩小这道缝。不过,目前材料实际只包含作者摘要;以下关于方法与效果的描述均来自论文作者,缺少独立交叉验证。

先让合适的“专家”上场

LingBot-Video 是一种面向具身智能的视频预训练方案。所谓具身智能,是让 AI 不只处理屏幕里的信息,还要通过机器人等实体在现实环境中感知和行动。视频预训练则是先让模型观看视频,学习物体怎样运动、动作怎样改变场景,再把这些经验用于具体任务。

它的生成骨架是 Diffusion Transformer(DiT)——把“从随机噪声中一步步还原内容”的扩散过程,与 Transformer 结合起来。论文在这个骨架上做出的主要架构选择,是采用 Mixture-of-Experts(MoE,专家混合),而不是 dense 架构。dense 模型每次处理输入时,通常让整套网络共同参与;MoE 则包含多组子网络,一次只调用其中一部分,像医院先分诊,再让少数对口科室处理。

这样做的目标,是在模型容量与推理开销之间取得更好的平衡:模型可以容纳更多“专家”,但不必每次把所有专家都叫来。作者称,他们实现了 MoE 视频模型从零开始的扩展训练。只是摘要没有说明扩展到了多大规模,也没有给出总参数量、每次实际启用的参数量、计算成本或推理速度。因此,目前能确认的是路线选择,不能确认它带来了多大的效率收益。

训练视频也要换口味

只改架构还不够。一个主要看互联网创作视频长大的模型,未必知道机器人真正需要理解什么。对此,作者构建了一个“数据画像引擎”,在标准互联网视频之外,加入面向机器人的视频,覆盖 manipulation、navigation 和 egocentric perspectives。

这些词分别对应三类经验:manipulation 是抓取、移动和操作物体;navigation 是在环境中移动与找路;egocentric perspectives 是第一人称视角,也就是更接近机器人自身摄像头看到的画面。作者希望通过这种数据组合,让基础模型在预训练阶段就接触动作与世界变化之间的关系,而不是等到下游控制任务中再补课。

这一步直接回应了领域错位。普通视频可能擅长展示“看起来像某个动作”的结果;机器人相关视频则更贴近“动作怎样发生,以及发生后环境如何变化”。不过,摘要没有披露各类视频的数量、占比、筛选规则和质量控制方式,也没有说明所谓数据画像引擎具体如何运作。

不只奖励“好看”

第三个变化发生在训练标准上。常规视频生成常看 aesthetics、prompt-following 和 motion consistency,也就是画面是否美观、是否听从文字指令、运动是否连贯。这些指标并非没有价值,但对机器人来说还不够。一段视频即使流畅地表现机器人“拿起杯子”,如果接触关系不合理,或者最后没有完成任务,也很难用于控制。

LingBot-Video 因此加入多维奖励系统,重点加强 physical rationality 和 task completion 的对齐。前者要求视频中的变化符合物理常理,后者关心动作是否真的达成目标。换句话说,评分不再只问“这段视频像不像”,还要问“这件事在现实中说不说得通”和“任务到底做完没有”。

摘要没有进一步说明奖励由什么模型或规则计算,也没有披露各维度如何加权。因此,我们还无法判断系统怎样处理目标冲突。例如,画面质量、物理合理性与任务完成不能同时提高时,模型会优先保住哪一项。

为什么值得关注

这项工作的价值,首先在于它把三条路线放进了同一个面向具身智能的视频预训练框架:用 MoE 扩展容量,用机器人相关视频改变模型所见的世界,再用物理合理性和任务完成重新定义“生成得好”。这不是把一个普通视频模型直接交给机器人,而是从预训练阶段就围绕机器人的需求重新设计。

其次,MoE 在这里承担的角色很明确。具身系统既需要足够的建模能力,又受推理成本约束。作者试图通过按输入调用部分专家,让容量增长不必等比例变成每次推理的负担。如果后续完整实验能证明这一点,它可能为更大规模的机器人视频预训练提供一条可行路径。

作者还把 LingBot-Video称为首个“大规模、开源”的 MoE 视频基础模型,并称综合评测验证了性能与效率。但这些都是作者摘要中的表述。材料没有给出“大规模”和“开源”的具体定义,也没有评测分数、对照模型或消融实验,无法核验其优先权及优势幅度。现阶段,更稳妥的判断是:它提出了一条值得追踪的组合路线,而不是已经证明了这条路线全面领先。

局限与未知

  • 摘要未披露模型规模、激活参数量、训练数据量、计算成本和推理速度,MoE 的容量—效率收益暂时无法量化。
  • 材料没有具体评测分数、对照基线或消融结果,性能与效率结论只能视为作者自述。
  • “首个大规模、开源 MoE 视频基础模型”涉及优先权,但相关概念没有明确定义,也缺少独立信源支持。

供稿材料 SOURCES — 1

← 返回 2026-07-11 · 学术板块