你可以把大模型的强化学习后训练想成备考：模型先反复答题，再根据得分订正。问题是，答题和订正都很耗算力。把计算从常见的16位压到4位，好比把草稿纸缩到原来的四分之一；速度和存储有望改善，但许多细小数字也可能被直接抹掉。这篇论文关心的正是：采样答案和更新模型，能否从头到尾都用FP4完成。
这里的FP4，是只用4个二进制位近似表示一个数的浮点格式。所谓“端到端FP4”，严格说是 rollout policy——负责采样答案的策略——与 training policy——负责评估答案并更新参数的策略——其前向、反向传播都以4比特运行。它不代表优化器状态、损失计算等所有辅助环节也都是FP4。
论文作者称，据其所知，这是首个达到上述范围的端到端FP4大语言模型强化学习后训练方案。这个优先权说法目前来自论文自身，尚无独立信源确认。
真正出问题的，不是订正
直觉上，最危险的环节似乎是训练：前向传播负责算出结果，反向传播再根据误差决定如何调整；两边都只留4比特，误差很容易积累。但作者在Qwen2.5-3B与GSM8K上的拆分实验得出了不同结论。
当训练和采样都使用BF16——一种常用的16位浮点格式——准确率为86.96%。训练改成HiF4、采样仍用BF16时，准确率为86.88%；换成MXFP4训练时也有86.20%。也就是说，单独压低训练精度，表现仍接近BF16。
反过来就不同了。采样使用FP4、训练保留BF16时，HiF4准确率降至78.01%，MXFP4更降至50.57%。这甚至低于两边统一使用FP4时的82.03%和73.31%。作者据此判断，主要问题不是训练侧的量化噪声，而是采样与训练使用不同数值精度后产生的错位：训练系统试图学习的，并不是采样系统实际表现出的那套行为。
小数字为何成片消失
作者进一步把问题定位到 rollout activation quantization，也就是采样时对激活值进行量化。激活值是模型处理输入时产生的中间数字。少数异常大的值会把一个数据块需要覆盖的范围撑得很宽，FP4有限的刻度便优先留给大数。大量较小的数找不到可用刻度，只能被舍入为零。这叫下溢。
可以把它想成一把只能标四格、却要同时测量毫米和百米的尺子。为了容纳百米，毫米级差异只能挤在同一格里。论文观察到，部分层的激活张量出现明显的“零坍缩”：原本非零的中间信息，经量化后大面积变成零。
直接保留高精度激活值可以找回大部分准确率，但这样就无法继续使用真正的FP4矩阵乘法。为此，作者提出Rollout Residual Quantization，简称Rollout-ResQ。它先照常执行一次FP4矩阵乘法，再额外计算一个残差修正项，专门补回量化时丢失的信息。
关键在于，这个残差不是完整重算。论文只保留符合硬件友好稀疏模式的一部分残差，例如每组数中保留幅度较大的部分，并把修正限制在采样阶段的线性层。像是先用低清地图完成导航，只对容易走错的少数路口补一张细节图。
4比特格式本身也决定上限
论文比较了两种FP4格式。MXFP4让一个数据块共享一层缩放尺度；HiFloat4（HiF4）则采用三级分层缩放，在同样的4比特预算下兼顾数值范围与分辨率。简单说，HiF4不只是把尺子拉长，还给不同尺度分别安排刻度。
作者报告，在Qwen2.5-3B和Qwen2.5-Math-7B的数学任务实验中，Rollout-ResQ配合HiF4，把相对BF16的accuracy gap从4.9%缩小到1.1%；用于MXFP4时，则从13.6%缩小到5.3%。材料没有说明这些汇总差距究竟是百分点、相对百分比，还是跨基准聚合值，因此只能沿用论文的“accuracy gap”表述。
这组结果最值得关注的地方，不只是“4比特也能训练”。它说明，极低精度强化学习的核心矛盾可能在采样质量：如果模型采出来的数据已经因下溢而失真，后面的高精度训练未必能补救，甚至会因两套策略不一致而更差。统一精度，加上针对采样激活值的局部修正，反而更有效。
局限与未知
- 全部实验依赖FP4模拟，因为作者没有原生FP4硬件支持。模拟开销主导了训练时间，所以论文未能直接测量真实加速、延迟和效率收益；稀疏修正的实际存储、访存与内核代价也仍待验证。
- 实验覆盖Qwen2.5-3B、Qwen2.5-Math-7B及若干数学推理基准，尚不足以证明方法适用于更大模型、更多任务或不同硬件。
- 论文只研究了50%稀疏度。准确率与效率之间如何取舍，以及结果对随机种子和误差范围是否稳定，现有材料没有完整交代。