Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.125 — 2026-11-06
NEWS 351 STARS · 3 信源 约 7 分钟

Kimi K3.1开放权重:超大模型挤进单机

K3.1开放权重,社区让前代K3以8.24GB内存运行;能跑多快、榜分多真仍待验证。

IMAGE — r/LocalLLaMA 日榜
Kimi K3.1 开放权重:超大模型挤进单机了吗?

一台只有 8GB 左右内存的普通电脑,能不能运行一个拥有近 3 万亿参数的模型?这听起来像要把一座图书馆塞进书包。社区给出的办法不是把全部内容同时装进去,而是把权重留在存储设备上,需要哪一部分就读取哪一部分,用一小块固定缓存反复周转。

这正是 Kimi 家族最近两条消息碰在一起后,最值得看的地方:月之暗面发布了 Kimi-K3.1-Pro 的开放权重;第三方开发者则声称,能让它的前代 Kimi K3 在单个 CPU 和 8.24GB 内存上完成推理。这里必须先分清型号:开放权重的是 K3.1 Pro,挑战极限部署的是 K3。现有材料不能证明 K3.1 已经被塞进 8.24GB 内存。

与此同时,K3.1 的榜单成绩也遭到质疑。于是问题从“模型有多大、分数有多高”,转向了更实际的三件事:权重能否被外界研究,普通机器能否真正运行,以及榜单是否代表陌生任务中的能力。

开放权重,开放的到底是什么?

据月之暗面在 Hugging Face 发布的模型页面,Kimi-K3.1-Pro 已提供开放权重和使用入口。权重可以理解为模型训练后保存下来的大量数字,也是它生成答案时所依赖的核心参数。开放权重意味着研究者和开发者可以取得这些文件,自行加载和部署;但材料没有给出许可证条款,因此不能进一步写成“完全开源”,也不能据此假定它可以自由商用。

官方把 K3.1 Pro 描述为一个原生多模态、具备智能体能力的 3T 级模型。多模态指它可以处理文字和图片;智能体能力则强调模型不只回答问题,还能围绕任务采取多步行动。官方列出的总参数量为 2.8T,即约 2.8 万亿,但每次处理一个 token——模型阅读和生成文字时使用的基本单位——只激活 104B,也就是约 1040 亿参数。

这是 MoE(Mixture-of-Experts,混合专家)架构的核心思路:模型内部有许多“专家”模块,每一步只请少数专家工作,而不是让全部参数一起上场。K3.1 Pro 共列出 896 个专家,每个 token 选择其中 16 个,另有 2 个共享专家。官方还称它支持约 100 万 token 的上下文,并使用 MXFP4 权重与 MXFP8 激活值。这里的低位数表示属于量化思路:用更紧凑的数字保存和计算参数,以降低内存与计算负担,同时承担一定的精度风险。

模型页面给出了 Transformers、vLLM、SGLang 和 Docker Model Runner 等加载或部署入口。不过,“有启动命令”不等于普通电脑就能轻松运行。模型文件规模、硬件要求、速度和输出质量,仍要分别验证。

8.24GB 跑 K3,关键不是把它装进去

第三方项目 kimi-k3-in-c 的主张更激进。开发者 Fareed Khan 称,它能让 2.78 万亿参数的 Kimi K3 在单个 CPU 上、以 8.24GB 内存运行推理。推理指训练结束后,模型读取输入并生成结果。项目使用 Portable C99,不依赖 GPU、BLAS 数学库或机器学习框架。C99 是 1999 年发布的 C 语言标准;这里只依赖它,主要是在展示一套精简、较易移植的运行环境。

据该项目作者介绍,原始检查点约为 1.56TB,显然不能整体放进 8.24GB 内存。程序利用 K3 每次只启用少数专家模块的特点,把权重留在存储设备上,按需读入,再用固定大小的缓存周转。作者还设计了逐级验证:先用微型参考模型核对实现,再读取完整检查点并检查最初生成的 token,最后才进行持续文本生成。

所以,这项演示真正改变的是内存门槛,而不是模型体积。它更像为一艘巨轮开了一扇小舱门,让货物逐批通过,而不是把整艘船缩小。代价也很直接:作者称“storage is the whole game”,即性能高度取决于存储读取。能生成结果,不等于速度足以日常使用。

现有材料也没有披露它采用的具体量化方式、生成速度、上下文长度、精度损失或与标准实现的一致性。因此,“8.24GB 运行 2.78T 模型”适合被看作部署边界实验,暂时不能理解为一台普通电脑获得了完整、快速且等价的 K3 服务。

榜单高分,为什么又出现争议?

benchmark 是用统一任务比较模型能力的测试。K3.1 Pro 的官方表格显示,它在 Terminal-Bench 4.0 上得到 65.7,在更晚的 Terminal-Bench-Science 0.1 上得到 38.1;同一张官方表中,后者低于 GPT-6 Astra 的 68.1 和 Claude Opus 5.5 的 63.3。不同测试的分数不能直接横向换算,但这种落差成为社区讨论的背景。

更具体的质疑来自研究者 Joachim Schaeffer 与 Tilman Räuker。据 R40 研究团队公开的调查,他们在 Terminal-Bench——让模型在终端中完成真实软件任务的测试——发现,K3.1 会主动提到题面没有写出、却与隐藏测试相符的注意事项。两人随后修改任务,让新要求与原先的隐藏规则冲突;K3.1 仍固守它似乎“记得”的规则,并因此失败,而其他模型会遵从新题面。

研究者推测,模型可能使用了接触过隐藏规则的教师数据。但他们也明确承认,仅凭这种行为,无法证明训练数据的来源,更无法判断是否有意针对榜题优化。社区把这类嫌疑称为 benchmaxxing:模型可能过度适配已知测试,榜上成绩未必能代表面对陌生任务时的能力。当前证据更像一条值得追查的线索,还不是“成绩造假”的定论。

为什么值得继续看?

这轮进展把大模型竞争的三个层面放到了同一张桌上。开放权重让外界有机会检查和部署模型;纯 C、低内存实验把运行门槛拆开给人看;榜单争议则提醒我们,拿到权重和拿到高分,都不等于已经理解模型的真实能力。

它也修正了“超大模型进单机”的直觉。单机运行可以只是让权重从存储设备缓慢流过 CPU,不代表全部权重常驻内存,更不代表拥有云端服务般的速度。真正有意义的下一步,是同时回答三件事:输出是否可靠、运行是否实用、结果是否可复现。

局限与未知

  • K3.1 Pro 的开放权重、规格和部署入口目前均来自月之暗面官方单一信源,许可证条款及多项能力尚缺独立核验。
  • 8.24GB 演示针对 Kimi K3,而非 K3.1;项目未披露速度、具体量化方案、精度损失和结果一致性。
  • benchmaxxing 质疑来自单组研究线索。异常行为值得复现,但目前不足以坐实训练数据来源或主观意图。

供稿材料 SOURCES — 3
02
FareedKhan-dev/kimi-k3-in-c GitHub Trending(全语言·日榜) · REPO
原文 ↗

← 返回 2026-11-06 · 开源板块