Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.007 — 2026-07-11
PAPER HF 50 约 1 分钟

双重记忆补上VLA的遗忘症

LaMem-VLA把短期画面与长期进度写进模型“记忆”,让机器人做多步骤任务时不只顾眼前。

让机器人拿起杯子、走到水槽再放下,它可能做到一半就忘了前面干过什么。主流 Vision-Language-Action(VLA)模型——把画面、文字指令和机器人动作连起来的模型——往往主要依据当前画面决策。长任务里,眼前一帧未必能说明任务进行到哪一步,这正是 LaMem-VLA 想补上的短板。

它把历史分成两套内部记忆:短期记忆保留近期画面中的物体位置和细微变化,长期记忆保存任务进度、语义与动作连续性。系统按当前画面和指令检索相关经历,再压缩成固定长度的潜变量记忆 token——也就是模型内部可直接处理、但人眼看不到的表示——并在生成动作前织入推理序列。这样做的关键不只是“存历史”,而是让记忆与当前观察在同一内部空间里共同参与决策。

作者报告,LaMem-VLA 在 SimplerEnv-Bridge 模拟器上的平均成功率为 73.9%,比其 CogACT 基线高 16.6 个百分点;在 LIBERO 上达到 97.6%。不过目前验证仅来自模拟环境,真实机器人实验仍待后续版本补上。


供稿材料 SOURCES — 1

← 返回 2026-07-11 · 学术板块