深度专题 FEATURES — 3
三进制GGUF再省22%显存
B3S 为三进制模型定做 GGUF 打包,声称可少占约22%权重显存,但尚缺独立验证。
Agent Skills单日暴涨千星
一组给编码 Agent 安装“操作手册”的 Skills 走红,显示工作流复用正成为开源新赛道。
SGLang两日升温:推理服务栈受追捧
模型发布越来越快,SGLang走红提醒我们:真正吃紧的还有模型背后的服务系统。
速览 BRIEFS — 8
NEWS
Rust推理引擎Paddock完整开源
内部使用的 Rust/C++ 推理引擎 Paddock 开源,自研 CUDA 内核也一并放出。
NEWS
2004年的PSP跑起90M对话模型
有人把九千万参数对话模型塞进2004年的PSP,慢,但真能离线聊天。
NEWS
Qwen新模型在手机CPU本地运行
Qwen 稀疏大模型在小米手机完全本地运行,但速度与 CPU 独立运行仍待验证。
NEWS
KV缓存也能流式换入换出
给 KV 缛存设显存预算,按需搬运,用生成速度换更大模型或更长上下文。
NEWS
本地搜索工具瞄准人和Agent共用
zvec-grep把关键词、语义与精确检索装进同一个本地入口,供人和Agent共用。
REPO
长任务Agent有了治理控制面
LoopX给Codex等执行器加上持久状态与治理层,让长任务可续跑、可审批、可复盘。
NEWS
视觉Agent新添Ling 3.0 Flash VL
Ling 3.0 Flash 加上“眼睛”,瞄准文档、界面操作与前端编码
NEWS
21种Qwen量化跑上16GB显卡
21种Qwen3.8 27B量化同卡实测,帮16GB显卡用户挑压缩方案