Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.030 — 2026-08-03
PAPER H 11 约 1 分钟

FFN稀疏化不训练也能先猜重要通道

Prox先低成本猜出重要通道,再精确计算入选部分,无需重训即可跳过部分FFN计算。

像办公室只给正在使用的房间开灯,模型也可以只计算眼下重要的部分。Prox瞄准的是前馈网络(FFN)——Transformer每层中进一步加工词元、又消耗大量计算和内存传输的模块。它先便宜地预判哪些通道值得保留,再跳过其余计算,而且不用重新训练或微调模型。

关键在于,Prox不追求算准每个通道的中间结果,只需排出重要性次序,生成一张“保留名单”。第一阶段利用稀疏输入和量化后的代理权重——以较低精度保存的近似参数——估算SwiGLU两条计算分支,共同选出通道;第二阶段再用原始权重精确计算入选部分,并让三个投影共享同一名单,避免近似误差继续累积。

论文的理想化实验显示,若按精确中间状态选通道,在跳过70% FFN通道时,多数受测模型的相对困惑度增幅低于3%;困惑度是衡量模型预测文本有多“吃力”的指标,越低通常越好。作者称,低成本代理能较好保留这套排序,并在10个模型、6个模型家族上优于其他训练外基线。实际收益仍取决于近似名单能否稳定选对通道。


供稿材料 SOURCES — 1

← 返回 2026-08-03 · 学术板块