超大模型想搬到本地跑,往往先要等社区转换格式、适配工具。GigaChat 3.5 Ultra 这次把这段等待压到了发布首日:据 Hugging Face 官方模型卡,它在发布指令版、基础版和训练检查点的同时,也直接提供了 GGUF——一种把模型权重与运行信息装在一起、方便本地加载的文件格式。
这是一款 MoE(混合专家)模型:总计 432B 参数,但每处理一个词只激活其中 28B。后一个数字更接近每步计算量,前一个仍决定庞大的存储和内存压力。官方 GGUF 仓库给出 Q4_K_M、Q6_K、Q8_0 和 BF16 等版本;量化能缩小体积,却通常会牺牲一些精度,而且 432B 即使量化后依然不是普通电脑能轻松承受的规模。
“首日支持”也有边界:官方步骤要求从 llama.cpp 的 PR #25342 单独构建,说明这种新架构发布时尚未进入该本地推理工具的主分支。真正值得注意的不是它突然变得亲民,而是超大 MoE 已开始在发布当天就接入本地运行生态。