想象一张“用户×商品×时间”的巨型数据表:新记录不断涌入,如果每次训练都保存并重算全部历史数据,内存和计算很快吃紧。Jingyang Li 等提出 oRGrad,让模型按数据到达顺序预测并更新,不必囤积海量历史数据;它还用黎曼梯度下降——沿低秩张量这一受约束空间允许的方向更新,避免参数跑出合法范围。该方法适用于线性模型和广义线性模型。
作者分析了计算收敛速度、统计误差和遗憾之间的三方权衡。遗憾指算法累计损失与事后最佳固定模型累计损失之差。已知数据会持续多久(时间跨度 T)时,oRGrad 通过固定步长可达到统计最优,并取得 O(√T) 遗憾;adaptive-oRGrad 则自动调整步长,无论是否预先知道 T,都可达到作者所称最优的 O(log T) 遗憾和统计误差率。作者还称,数值模拟支持理论结论,并在太阳 F10.7 指数预测中优于离线方法;摘要未披露具体内存节省、速度或预测提升幅度。