把 AI 的“阅读”和“回答”分给不同 GPU，就像把备菜和出餐拆到两个厨房：分工更灵活，但中间得搬运一大车半成品。这里搬的是 KV 缓存——模型读完上下文后留下的中间计算笔记。论文指出，LLaMA-3.1-405B 处理 10 万 token 时，单份缓存可达 48 GB；即使占满一条 400 Gbps 链路，也要传约 960 毫秒。几股这样的流量若撞上同一路径，首个回答就会继续推迟。
问题出在 ECMP——数据中心常用的多路径分流方式。它按连接信息分配路线，却不持续查看哪里正堵，因此可能让几辆“重卡”挤上同一座桥。ARK 的做法是在发送前预约路径：各服务器共享占用表，通过调整源端口，让并发传输被 ECMP 分到不同网络主干，无需修改交换机，也不用在接收端重排数据包。
在 16 块 GPU 的 RDMA 数据包级模拟中，作者称 ARK 在中等负载下最多将平均、P95 传输完成时间分别降低 27.3% 和 34.0%，首 token 等待时间降低 12.9%。结果仍来自模拟，但它点明了一个变化：预填充与解码分离后，调度器不能只管 GPU，也得把网络路径当成一等资源。