一家公司同时买了英伟达显卡、苹果电脑和 Google TPU，通常得为不同硬件维护不同的软件。ZML 推出的 LLMD，想把这件事变成“一套服务，到处运行”：它负责加载模型、接收请求、安排芯片计算，再把生成结果交给应用。
这款 alpha 版推理服务器可运行 LLaMa、Gemma、Qwen 和 Mistral，并覆盖 NVIDIA CUDA、AMD ROCm、Apple Metal、Intel oneAPI 与 Google TPU 五类后端。它还支持 continuous batching——把陆续到达的请求动态合并计算，以及 prefix caching——缓存重复提示词的计算结果，减少重复运算。值得关注的不是又多了一款服务器，而是异构部署多了一个统一入口。
据 TechCrunch 报道，LLMD 目前免费，但并非开源；ZML 所称的速度与效率优势尚缺少公开基准数据，正式定价和实际采用情况也仍未确定。