让大模型从 1 到 10 随便挑一个数,它常选 7。流行解释把原因归到“梯度下降”——模型反复调整参数、降低训练误差的方法。但据 Towards Data Science 文章分析,这只说了模型怎样学习,没解释它学到了什么,更没解释生成答案时发生了什么。
文章把机制拆成三步:人类文本本就更常把 7 当作“随机数字”;预训练再通过交叉熵训练,把这种不均匀偏好学成概率分布;后训练与解码则可能继续放大差距。temperature(生成时调节概率差距的旋钮)尤其直观:在文中的示例里,首选答案原占 30%,temperature 调到 0.5 后升至约 58%。
这篇文章更有价值的地方,是示范如何检验一个听起来合理的机制解释:别停在算法名称上,要逐段追问偏好从哪里来,又在哪一步被放大。