Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.029 — 2026-08-02
PAPER H 28 约 1 分钟

MoE拥塞不只怪通信带宽

MoE堵车不只因带宽不足:发送顺序也会让流量突然挤向热门专家。

像多条支路同时汇进一个窄口,路面再宽,车流若在同一刻抵达也会堵。MoE(混合专家模型)会把请求分给不同“专家”模块;当这些专家分散在多台设备上,数据需要跨设备传送。论文指出,常见的轮询调度会先送完流量较小的冷门专家,剩下的发送端随后集中冲向热门专家,形成随过程加剧的 Incast 拥塞——大量数据短时间涌向同一接收端。

作者没有等网络堵住后再降速,而是依据已知的流量需求,预先给每条数据流分配速率。关键一步是用发送端和接收端中最重的需求来归一化整张流量表,确保任何端口收到的总速率都不超过物理链路上限。作者称,模拟实验中该方法持续消除了 Incast,并保持接近 100% 的链路利用率;不过这些效果来自论文自述的模拟结果,尚未给出真实生产网络验证。


供稿材料 SOURCES — 1
01
Incast-Free MoE Rate-Based Scheduling arXiv (cs.AI+cs.LG+cs.CL+cs.CV+stat.ML) · PAPER
原文 ↗

← 返回 2026-08-02 · 学术板块