Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.083 — 2026-09-25
NEWS 约 5 分钟

FLUX跨进机器人世界

图像生成厂商 BFL 推出机器人模型,让 FLUX 从生成画面走向预测机械臂动作。

IMAGE — r/LocalLLaMA 日榜

你对机器人说:“把这个零件装进卡槽。”难点不在听懂“装进去”,而在接下来的每一秒:机械臂要看清零件,判断位置,控制力度,抓空了还得补救。Black Forest Labs(BFL)过去以图像生成模型闻名,如今它把生成视频的能力搬进了机器人控制。这个转向值得看,因为生成模型厂商开始把“预测下一帧”变成“预测下一步怎么动”。

据 BFL 官方 Hugging Face 页面,FLUX 3 Action 系列于 2026 年 9 月发布,包括基础模型、面向 SO-101 机械臂的策略,以及基于 DROID 数据适配的 Franka Panda 策略。目前公开信息主要来自 BFL 与 Hugging Face 官方材料,尚无独立评测;“7B”参数规模见于发布帖标题,所给模型说明没有进一步佐证。

它不只预测动作,也预测接下来会看到什么

机器人策略模型,是机器人从“观察”走到“控制”的决策层:它接收相机画面、机器人自身状态和任务指令,再给出下一段动作。

据 Hugging Face LeRobot 官方文档,FLUX 3 Action 会同时处理这三类输入。冻结的视频 VAE——把画面压缩成模型容易处理的表示、且训练机器人时不再更新的编码器——负责读取视觉信息;冻结的 Qwen3-VL 负责理解文字指令。随后,扩散 Transformer 联合预测未来画面和机器人动作分块。

“扩散”原本常见于图像生成:模型从模糊或带噪的状态逐步得到结果。这里被生成的不只是未来画面,还有机器人接下来的一小段动作。动作分块(action chunking)指一次预测未来连续几步,而不是每走一步都停下来重新计算。它通常有助于降低控制延迟,也让动作更连贯。

这套思路的关键,是把视频模型学到的“世界接下来可能怎样变化”,接到机器人的控制信号上。好比一个人伸手拿杯子时,不只决定手往哪儿走,也会预想杯子在视野里如何移动。模型把这两件事放在一起预测,试图让视觉变化与实际动作互相约束。

从基础模型到具体机械臂

FLUX 3 Action collection 不只放出基础模型,也提供共享的冻结视频与文本编码器。对 SO-101,官方给出了 LeRobot policy、保存好的 processors,以及 task-LoRA 配方。Processors 可以理解为整理模型输入和输出的转换组件;LoRA 则是一种只训练少量附加参数的适配办法,让团队不必从头训练整个大模型。

官方配方允许用 LoRA 调整主干,同时完整训练机器人的动作头和条件输入模块。动作头负责把模型内部表示变成机械臂可执行的动作;条件输入模块则接入机器人状态等信息。换句话说,大部分通用能力保留,只重点改造真正连接具体机械臂的部分。

该系列还提供 DROID policy。官方称根目录版本已经过验证,并在子目录放置可选的 optimization variants。不过,现有材料没有说明“验证”覆盖哪些任务、使用什么指标,也没有解释这些优化版本具体改了什么、收益多大。

为什么这是个醒目信号?

BFL 的尝试并非只停在实验室演示。据 BFL 介绍,公司曾把尚未公开的 FLUX 3 交给瑞士机器人公司 mimic,后者将联合模型带进 Audi Production Lab,测试把电子控制单元放入紧配合夹具,以及处理密封条、线缆等柔性物件。一次演示里,机器人抓取落空后自行再次抓取。双方将这种训练示范未逐一规定的补救行为,视为视频模型所学物理先验可能迁移到机器人控制的迹象。

这里应注意“迹象”二字。单次演示不能证明模型已经具备稳定的纠错或泛化能力。但路线本身很清楚:BFL 不再只让模型生成看起来合理的世界,而是尝试让模型依据这种预测去改变真实世界。对一家以图像生成闻名的公司来说,这比单纯增加一个机器人产品更有象征性。

许可也决定了谁能使用它。BFL 官方许可证称,FLUX Kommunity License 允许非商业研究、测试和非商业机器人用途;年收入低于 500 万美元的“合格用户”,在遵守内容过滤、标注等条款时,可将输出用于商业用途。其他未经许可的商业使用,需要另向 BFL 申请授权。

局限与未知

  • “7B”目前只有发布帖标题支持,现有说明未给出参数配置依据。
  • 官方没有披露成功率、泛化能力、推理速度或与其他机器人模型的对比数据,因此不能判断它是否领先。
  • “validated DROID policy”与“optimization variants”缺少任务、指标、基线和收益说明,现阶段更适合视为官方产品描述,而非已被独立验证的效果结论。

供稿材料 SOURCES — 1

← 返回 2026-09-25 · 开源板块