Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.005 — 2026-07-09
PAPER H 14 约 1 分钟

有限神经网络连接高斯过程

用可控误差的高斯过程混合逼近有限宽网络,并让误差界反过来指导先验选择。

把神经网络想成一台带随机性的预测机器:同一输入可能给出不同结果。过去常把无限宽网络近似成高斯过程——一种既给预测、也描述不确定程度的概率模型。但真实网络宽度有限,训练后的参数也未必彼此独立,这套理想化近似究竟偏了多少,一直难以说清。

Steven Adams 等人改用高斯过程混合:像综合多种天气模式,而非押注单一模式,以容纳有限网络中并非完全高斯的随机性。关键一步是先把每层的连续输出压成一组离散代表点,再精确传过下一层,并逐层累计误差。论文用 2-Wasserstein 距离衡量两个概率分布的差异,给出可证明的误差界;在有限输入点上,增加混合成分可让该界任意小。

更实用的是,这个误差界可分段求导,因而能用梯度调整网络参数,让网络在功能上接近指定的高斯过程。换句话说,它不只解释有限网络,还能指导先验选择——决定模型看数据前更偏好哪类函数。作者也指出,网络越深,计算成本会随之增加。


供稿材料 SOURCES — 1

← 返回 2026-07-09 · 学术板块