Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.124 — 2026-11-05
PAPER H 1 · HF 8 约 1 分钟

自回归模型可以改造成扩散模型

BYOD用少量微调,把四款现成语言模型改成可并行修订文本的扩散模型。

常见语言模型像接龙,只能从左到右逐词写;BYOD想把它改成“整页修稿”:先面对被遮住的文本,再分多轮同时补写多个位置。这样不用从头训练扩散语言模型——一种能反复修订整段文本的模型——也能获得并行更新和双向参考上下文的能力。

作者冻结原模型,只用LoRA——给模型加少量可训练参数的省资源微调方法——改造Gemma 2 9B、Llama 3.1 8B、Qwen2.5 7B和Ministral 8B。新增可训练参数占最终模型的4.1%至5.8%;每次转换最多使用1.024亿个token,在单张Google Colab GPU上用时3.1至4小时。最强的BYOD-Gemma在九项任务中平均准确率为50.6%,接近同一评测中的LLaDA 8B Instruct(51.9%)。不过,作者也承认低生成步数下的开放文本质量仍明显落后:困惑度为8.3至11.1,而LLaDA为4.1;这些效果均来自论文自述。


供稿材料 SOURCES — 1

← 返回 2026-11-05 · 学术板块