Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.013 — 2026-07-17
NEWS 约 1 分钟

llama.cpp为Intel显卡补上大幅提速

llama.cpp接入Intel XMX加速,长提示词预填充最高快4.26倍

在本地让 AI 先读一篇长文,等待往往发生在它开口回答之前。这个阶段叫预填充(prefill)——模型一次处理整段提示词,并建立后续生成所需的 KV 缓存。llama.cpp 这次更新,重点就是缩短 Intel 显卡处理长输入的时间。

据 llama.cpp 官方 GitHub PR,7月15日合并的 #25222 为 SYCL 后端加入了新的 Flash Attention 路径。SYCL 是让一套并行计算代码运行在 Intel 等 CPU、GPU 上的接口;新路径通过 oneDNN Graph API,调用 Xe2 显卡里的 XMX 专用矩阵单元。可以把 XMX 理解成专门处理大模型矩阵运算的加速器。

提交者用 Intel Arc Pro B70、FP16 KV 缓存和 Qwen3.6-27B Q8_0 测试:相对原有 Flash Attention,512-token 预填充快1.21倍,约8万 token 时快4.26倍,而且旧路径随上下文增长而明显降速的问题得到缓解。不过支持目前明确限于 Xe2(Battlemage);旧款 Alchemist 与 Xe-LPG 因 oneDNN Graph 路径存在问题,尚未纳入。


供稿材料 SOURCES — 1

← 返回 2026-07-17 · 开源板块