让机器人看一张照片再回答问题，费电最多的可能不是“看图”，而是把答案一个字一个字说出来。这项研究在 NVIDIA RTX 3070 与 Jetson Orin NX 上测试了五种视觉语言模型（VLM——同时处理图片和文字的模型）。作者发现，语言生成阶段占总能耗的 86% 至 97%；每生成一个输出 token（模型处理文字的基本单位），耗时是处理一个输入 token 的 11 至 39 倍。
原因在于，看图和读问题时，模型能并行计算；生成答案时却必须逐个 token 推进，并反复读取模型参数和此前内容。作者还称，对于视觉 token 数量固定的模型，即使删掉全部视觉 token，最多也只能节省 10% 能耗；控制输出长度则最高可节省 97%。这意味着，端侧推理——直接在机器人或嵌入式设备上运行模型——若想省电，优化重点或许应从“少看一点”转向“少说一点”。这些比例来自论文作者在上述两类硬件和特定测试设置下的测量。