调用一次远程 AI，本来几秒就能出结果，却偶尔要等近两分钟。问题常不在模型计算，而在“冷启动”：平台需要临时分配 GPU、搭好环境，再把模型装进显存。GPUHedge 想做的，就是在这段等待失控时，及时换一条路。
作者称，在一个 17 GB 模型的测试中，主供应商的请求通常耗时约 6—8 秒，但新 GPU 冷启动后会拖到约 90—122 秒。单纯换供应商也不够，因为每家都有自己的慢请求。GPUHedge 因此采用“对冲请求”：先向主供应商发任务，若 10 秒后仍未完成，就向备用供应商发送同一任务；最先通过结果校验的任务胜出，另一个则取消。
在 36 次评估请求中，作者报告这套固定的 RunPod → Cerebrium 策略把 P95 延迟——即 95% 请求能完成的时间——从 116.6 秒降至 29.4 秒，超过 60 秒的请求也从 11 次降为零。工具已开源并采用 Apache-2.0 许可证，但目前仍处于 alpha 阶段；上述结果来自作者的初步测试，能否适用于更多模型、供应商和负载，材料尚未披露。