模型读一句话时，各个 token——文本被切成的字、词或词片段——会争夺有限的注意力权重。比如判断一句话表达什么，模型得决定哪些词更关键。这项工作追问的是：这种取舍经过训练后为何会稳定成某种选择，而不只是描述它最后关注了谁。
作者研究了用于 softmax attention 的镜像下降——一种先按约束的几何结构更新、再映射回原空间的优化方法。理论结果显示，在分类问题中，这类算法的参数方向会趋向一种广义的最大间隔方案：被选中的 token 不仅胜出，还尽量与其他候选拉开安全距离。论文还给出了同时优化 key-query 矩阵和 decoder 时分别趋向硬间隔 SVM 解的条件。
这让注意力不再只是“给词打分”，而可被理解为带有明确偏好的竞争过程。作者自述，数值实验中镜像下降比标准梯度下降泛化更好，也更擅长选择最优 token；摘要未披露具体提升幅度。