Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.004 — 2026-07-08
NEWS 约 1 分钟

51M 参数模型专门给提示词分流

51M 参数的小模型先给提示词分流,让简单请求少占用昂贵大模型。

IMAGE — r/LocalLLaMA 日榜

点外卖不必每次都找名厨,调用 AI 也一样:简单请求可以交给便宜的小模型,复杂问题再请大模型处理。SupraLabs 发布的 Supra-Router-51M 就是站在模型前面的“分诊台”。它读取用户的提示词——也就是发给 AI 的问题或指令——再判断该把请求交给较小还是较大的模型,从而尝试减少不必要的大模型调用。

它只有 51M(5100 万)参数。参数量可以粗略理解为模型的规模,因此它远小于常见的生成模型,适合在每次请求前先运行。发布者称,这一体量可用于低延迟环境,并同时公开了训练所用的 Prompt-Routing-Dataset 数据集。不过,现有材料没有披露分流准确率、实际节省的成本或新增延迟。路由器只有在省下的大模型费用超过误分流和额外调用的代价时,才真正划算。


供稿材料 SOURCES — 1

← 返回 2026-07-08 · 开源板块