想在自己的电脑上跑大模型,常见麻烦不只在模型本身,还在安装环境和适配显卡。Janus 想把这件事收进一个 Go 程序:加载 GGUF——一种把模型权重和运行信息装在一起的本地模型文件——再通过 Vulkan 调用 AMD、Intel 或 NVIDIA 显卡;没有合适的 GPU 时也能退回 CPU。
它同时提供 OpenAI-compatible API,也就是模仿常见 OpenAI 请求格式的程序接口。Cursor、Cline 等既有客户端可据此连接本地模型,不必另改一套交互方式。Janus 还支持流式聊天、运行中切换 GGUF 模型,并能从文件元数据自动识别对话模板。
项目主打免装 Python、Docker 或 Ollama,Windows 是当前主要平台;不过其构建说明仍会下载 llama.cpp 的 Vulkan DLL,Linux 也需要 libllama.so。因此,“单一二进制”更适合理解为更轻的启动入口,而非所有平台都彻底只有一个文件。