你让机器人收拾桌面,它不能只听懂“把杯子放好”,还得判断先抓什么、下一步做什么,以及动作完成后桌面应该变成什么样。腾讯在 Hugging Face 发布的 RxBrain,尝试把这些环节放进同一套模型:先用语言规划,再生成预期画面,帮助机器人在真正行动前“预演”下一步。需要说明的是,目前信息仅来自腾讯官方模型页,没有论文、评测或第三方复现。
它怎样边想边规划?
RxBrain 全名为 Hy-Embodied-RxBrain-1.0,面向具身智能——让 AI 通过机器人等实体感知环境并采取行动。官方称,它统一了三类能力:理解图像和多帧视频并回答问题;根据动作生成近未来画面;把任务拆成多个子目标,并为每一步同时给出动作描述和目标图像。
这里的“视觉想象”不是说模型像人一样想象,也不代表它能准确模拟物理世界。更准确地说,它会生成一张预测画面,用来表示某个动作之后,环境可能是什么样。子目标规划则把长任务拆成若干中间状态,避免一次决定整串操作。
关键设计是“交错生成”:RxBrain 在同一个自回归序列——也就是按顺序逐项生成内容——里,交替输出推理文字和想象帧。一个学习得到的 <Image> token 决定何时切换到图像生成。于是计划不只写“下一步做什么”,还附上一张“做完后应当看到什么”的视觉目标。
为什么值得关注?
世界模型是对环境如何随动作变化所做的内部预测。它的价值在于让系统先比较可能后果,再真正执行。RxBrain 把语言计划和未来画面排进同一条生成流程,使机器人的中间目标更容易被人观察和检查。
官方称其骨干网络约有 6.2B 参数,采用 Mixture-of-Transformers,并为文本、视觉理解和图像生成设置专用路径。图像部分使用 flow matching——一种学习图像生成过程的方法——并借助冻结的 FLUX VAE 潜空间完成编解码。因此,“单一模型”不等于没有专门组件,而是这些能力共享一套生成流程。
局限与未知
- 官方未提供论文、评测表或对照实验,现阶段无法判断预测画面是否可靠,也不能据此宣称它优于现有模型。
- 约 6.2B 参数及各项能力均来自单一官方信源,尚缺第三方复现。
- 所谓 chain-of-thought 只是模型输出的推理文本,不等于真实推理过程已经得到验证。