你让手机上的 AI“把周五下午三点的牙医预约写进日历”,它不必陪你聊天,只要选对日历函数、填准时间和事项。Cactus Needle 3正是为这种工作设计的小模型:在设备本地把自然语言转换成工具调用或结构化记录,不必联网。所谓工具调用,就是模型按固定格式选择函数并填写参数,让应用可以直接执行。
项目方称,Needle 3可按需裁切到8—29MB。它主动放弃通用聊天:没有合适工具时返回空列表,而不是猜答案,把容量集中在工具调用、结构化提取和文本嵌入上。完整模型有1.21亿参数,并在3600亿个结构化数据 token——可理解为模型训练时处理的文本片段——上训练;其中7080万参数放在几乎不需要运算的查询表里,因此项目方称,其每个 token 的计算量约为同形状 Transformer 的三分之一。
据 Cactus Compute 成员 Henry 在 Reddit 的介绍,20层版本通过随项目发布的2-bit压缩模型,在包含961条手机指令的 Mobile Actions 测试中取得86.0分,高于其列出的 LFM2.5 1.2B(82.4)和 Qwen3.5 0.8B(76.0)。这些数字目前来自项目方自述,但它仍提供了一个值得关注的激进样本:端侧 AI 不必什么都会,专心把指令可靠地变成应用可执行的动作,也可能更实用。