训练模型像下山:走得太少还没学会,走得太远又可能过度贴合训练数据。早停就是在抵达终点前挑一步停下,但只看一个预测误差数字,很难判断这一步是否真的更好。Pierre C. Bellec 等人的工作,尝试给高维线性回归——特征数接近样本数、模型容易不稳定的场景——每一步迭代都配上可用于判断波动的统计工具。
论文覆盖梯度下降、proximal GD 和 FISTA 等算法。作者为任意固定迭代步提出新数据预测误差的估计方法;当误差随训练步数呈 U 形时,可据此从数据中选择误差最低的停止点。他们还为有限迭代时的真实系数分量设计去偏修正和置信区间——也就是给估计值附上合理的误差范围。理论保证建立在 Gaussian designs 条件下,论文以合成数据模拟展示结果;摘要未披露真实数据表现。