把神经网络想成一排解题助手:过去的理论常要安排大量冗余人手,才容易证明它能学会。如今研究者追问,把队伍压到很窄后,梯度下降——每次微调参数,让误差再小一点——还能否既学好训练题,又应付没见过的新题?
据 JMLR 论文,作者分析了浅层 ReLU 网络。ReLU 是一种神经元开关:负输入归零,正输入原样通过。最关键的一步,是证明训练参数始终停留在初始化点或参照点附近;在这个局部范围内,神经元的开关模式较稳定,因而可以更精细地估计模型记住随机波动的能力。
由此,作者给出随训练轮数 T 按 1/T 下降的收敛率。对于具有间隔 γ 的 NTK 可分数据,风险界约为 1/(nγ²),n 是样本量;所需宽度只随问题规模作多对数增长。换句话说,这项工作把“必须极端加宽才好证明”的边界向窄网络推进了一步,但结论依赖特定的数据可分条件。