让 AI 从照片里找出行人、标出位置,再把坐标交给程序,模型往往既要“看懂”,又要控制运行成本。Moondream 3.1 的思路是混合专家(MoE)——内部准备多组专门网络,每次只调用其中一部分。它共有 9B(90亿)参数,处理一次输入时仅激活 2B(20亿),试图用较大的总容量兼顾较低的单次计算量。
这款视觉语言模型——能同时理解图片和文字的模型——原生支持图片问答、目标检测、位置指点和图片描述,并返回结构化输出,也就是按固定字段给出答案、物体或坐标,方便视觉 Agent 直接读取。项目方称其视觉推理与检测达到领先水平,同时保持较快、较便宜的部署;但供稿没有给出具体基准成绩。基础模型可通过 Photon 在 NVIDIA Ampere 及更新架构的 GPU、Apple Silicon Mac 上本地运行,无需 API key。