本地 AI 服务突然变慢，麻烦往往不在“慢”本身，而在你不知道卡在哪里：GPU 忙不过来、显存见底，还是长对话挤满了缓存。Important_Quote_1180 开源的 LLM Serve Dashboard，把这些线索集中到一个绿色终端风格页面，方便快速排查。
它同时支持 llama.cpp 和 vLLM——前者偏向跨平台本地运行，后者偏向 GPU 高吞吐服务。面板展示每张 GPU 的利用率、显存、功耗和温度，也统计模型吞吐量，即每秒处理或生成多少 token（文字小片段）。它还跟踪 KV Cache——模型保存先前计算结果的“草稿纸”；对话越长、并发越高，通常占用越多显存。
前端只有一个可直接打开的 index.html，后端是一个仅用 Python 标准库的文件，读取 nvidia-smi 及服务暴露的指标；无需框架、构建步骤或外部请求。端口还能从监听中的连接自动发现。项目仍在开发中，上述功能与便利性均来自作者自述。