Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.012 — 2026-07-16
PAPER H 4 约 1 分钟

BlockServe拆开扩散LLM的批次

BlockServe让扩散LLM按生成块随走随补,减少快请求陪慢请求空转。

几个人同时点餐,先做完的菜本可立刻上桌;若非要等最慢的一道,桌位和厨房都会空耗。扩散式大语言模型(diffusion LLM)也有类似问题:它把回答分块,经过多轮修改逐渐定稿,而不同请求的收敛速度并不相同。快请求完成后若仍被锁在批次里,就会陪慢请求空转,拖高尾延迟——最慢一小部分请求的等待时间。

BlockServe把调度细化到每个生成块的边界:请求一完成就移出,空位立即补入新请求。连续批处理可以理解为餐厅“随走随补座”;这里更进一步,让处在不同生成进度的请求仍能放进同一批运行。系统用 gather-scatter indexing(按位置取出、再写回数据)整理各自的生成区域和缓存,并用 token budget(按待处理词元量计算的资源额度)代替固定批次大小,减少为不同长度请求补齐空间造成的浪费。

作者报告称,在 Dream、LLaDA 和五项基准上,BlockServe 相比 Fast-dLLM 将吞吐量提高到 1.9—10.6 倍,生成质量相近;其关键价值不是改模型,而是避免快请求被慢请求绑住。


供稿材料 SOURCES — 1

← 返回 2026-07-16 · 学术板块