像多条支路同时汇进一个窄口,路面再宽,车流若在同一刻抵达也会堵。MoE(混合专家模型)会把请求分给不同“专家”模块;当这些专家分散在多台设备上,数据需要跨设备传送。论文指出,常见的轮询调度会先送完流量较小的冷门专家,剩下的发送端随后集中冲向热门专家,形成随过程加剧的 Incast 拥塞——大量数据短时间涌向同一接收端。
作者没有等网络堵住后再降速,而是依据已知的流量需求,预先给每条数据流分配速率。关键一步是用发送端和接收端中最重的需求来归一化整张流量表,确保任何端口收到的总速率都不超过物理链路上限。作者称,模拟实验中该方法持续消除了 Incast,并保持接近 100% 的链路利用率;不过这些效果来自论文自述的模拟结果,尚未给出真实生产网络验证。