隐藏推理：不扩模型也能扩算力

你问 AI 一道难题，它可以先写一大段推理，再给答案。这样确实投入了更多计算，但草稿很长，读起来也慢。更麻烦的是，如果想从根本上增强一个已有模型，常见办法是扩大模型，再做一轮昂贵的预训练——也就是重新用海量数据完成通用学习。

论文《Hidden Decoding at Scale》换了一个方向：模型不把额外思考写成文字，也不增加或加宽 Transformer 主干，而是在输出每个词元前，把更多计算塞进潜空间。潜空间是模型内部用数字表示信息的工作区，人无法像读句子一样直接查看。可以把它理解成：答案仍只写一遍，但模型在内部多打几遍草稿。

这项工作的全部方法与效果数据都来自论文作者团队，尚无独立复现。论文给出了较完整的对照实验，但“首次”“可扩展”等定位仍应视为作者主张。

一个词，先走四条隐藏路线

语言模型处理文字时，会先把每个词元映射成一组数字。这个映射由 embedding table——可理解为“词元到数字表示的查表册”——完成。普通模型每个词元只查一次表，得到一条内部表示。

Hidden Decoding 则准备 $n$ 张彼此独立的表，把同一个词元展开成 $n$ 条 stream，也就是 $n$ 股并行的内部信息流。若 $n = 4$ ，原本长度为 $L$ 的输入就变成长度为 $4 L$ 的内部序列。四股信息一起经过同一个 Transformer 主干，只有最后一股负责预测下一个词元；前面三股不直接交答案，而是充当中间计算状态。

关键还不只是“重复四份”。模型会保留每股信息流的 KV Cache。KV Cache 是模型阅读上下文时保存的中间结果，像随手记下的索引，之后处理新词时不必把前文全部重算。保留中间信息流的 KV，意味着前一个词元内部形成的隐藏状态，也能继续帮助后面的词元。

作者在一个 21B MoE——Mixture of Experts，即每次只调用部分“专家”子网络的模型——上做了小规模对照。分别保留各信息流的 KV 时，两种注意力配置的平均准确率为 64.23 和 64.66；改为共享 KV 后降至 63.46 和 63.90。差距不大，单项结果也有波动，但两个配置方向一致。

为什么不让模型简单地循环思考

已有的循环式 Transformer 会让同一组层反复处理隐藏状态，相当于用同一套脑回路多想几遍。它同样能在不按比例增加参数的情况下增加计算深度。

问题出在大模型训练方式。超大模型通常采用 pipeline parallelism——把不同层分给不同设备，让多个训练样本像流水线产品一样同时前进。循环会让隐藏状态返回已经走过的阶段，流水线容易出现等待，GPU 也会闲下来。

Hidden Decoding 不往回走，而是把额外计算铺到序列长度方向。对训练系统来说，它看到的只是更长的输入，仍可沿现有流水线向前处理。这是论文最值得关注的工程判断：不去改变超大模型已经成熟的训练节奏，而是把“多想几步”改写成训练系统熟悉的长序列问题。

序列变长，注意力账单怎么办

直接把序列扩成 $n$ 倍，会带来新的成本。注意力机制需要判断序列中哪些位置应相互参考；若所有位置都彼此比较，其成本会随 $n$ 近似按平方增长。

作者为此设计了 Stream-Factorized Attention。多数层只允许同一股信息流查看自身历史，少数层才让不同信息流交换信息。像四个小组先各自讨论，到几个指定会议点再汇总。论文称，这能让注意力部分相对 $n$ 的额外成本从平方增长降至“接近线性”。这个说法描述的是特定计算部分及其增长趋势，不等于端到端训练成本严格线性。

在 21B MoE 的消融实验中，不展开信息流的基线在 13 项评测上的平均分为 54.33。Hidden Decoding 只设置少量完整跨流注意力层时，平均分达到 55.88 或 56.49；所有层都完整混合时为 56.95。最贵的配置最好，但较便宜的配置保留了大部分收益，说明不同信息流不必在每一层充分交谈。

规模上去了，收益也出现了

作者从已有 WeLM 检查点出发，在 continued pretraining（CPT，继续预训练）阶段加入四股信息流，训练了 WeLM-HD4-80B 和 WeLM-HD4-617B。这里的 80B 与 617B 是总参数量；每次实际激活的参数分别为 3B 和 23B。

在相同的早期 SFT——监督微调，即用示范答案继续训练——方案下，HD 版本在论文列出的九项共同评测中全部超过对应基线。80B 模型的 SciCode 从 45.8 升至 50.0，PHYBench 从 69.8 升至 73.8，FrontierMath 从 45.8 升至 49.0。617B 模型的 GPQA Diamond 从 89.1 升至 91.2，HLE 从 33.6 升至 35.4，FrontierMath从 49.0 升至 51.0。

这些是同一论文团队、同一评测流程下的受控比较，能说明方法在作者设置中有效；它们不能直接证明对所有任务都有效，也不宜与采用不同训练和评测流程的模型作简单排名。

论文还在固定 Qwen3-8B-Base 主干上逐步增加信息流数量。作者报告，平均收益随 $n$ 几乎持续上升，每项评测都有改善；在 6B MoE 的训练目标实验中，HD 从 $n = 2$ 增至 $n = 4$ 后，语言模型损失由 1.874 降至 1.857，四项下游分数也全部提高。这提供了一个初步信号：信息流数量可能成为模型宽度、深度之外的另一根计算旋钮。

它没有让扩展变成免费午餐

Hidden Decoding 固定的是 Transformer 主干，并非整个模型参数完全不变。每股信息流都有独立 embedding table，所以存储参数仍会增加。它也不是拿来即用：作者在 CPT 阶段引入方法，仍需继续训练，只是无需把更大的主干从头预训练。

推理成本同样不会消失。作者对 WeLM-HD4-80B 的测试显示，小批量、偏交互式的场景保留了较多基线吞吐量；输入更长、批量更大时，额外计算会明显拖慢生成。这条路线真正承诺的不是“免费变强”，而是把新增算力放到一个更容易兼容既有训练基础设施、也更容易调节的位置。

局限与未知

所有方法、规模纪录和效果论断均来自作者团队，尚需同期工作检索与第三方复现。
论文的优势集中在受控评测中；不同任务上的增益并不等大，无法据此断言扩大 $n$ 会始终稳定获益。
独立 embedding tables、继续预训练和更大的 KV Cache 都有真实成本。“不扩主干”不等于不增加参数、无需训练或推理没有代价。