Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.126 — 2026-11-07
NEWS 约 1 分钟

八张V100跑出每秒两百词元

八张老V100让DeepSeek代码生成突破200 tok/s,展示二手算力的部署潜力。

IMAGE — r/LocalLLaMA 日榜

老显卡不一定只能吃灰。作者把 DeepSeek-V4.1-Flash 部署到八张 2018 年的 NVIDIA V100 上,实测代码生成超过 200 tok/s,法律写作约 110 tok/s。tok/s 是每秒生成的词元数,不能直接理解成“每秒多少字”,也不宜拿来跨模型硬比;但对一套旧硬件而言,这组速度仍是醒目的实机样本。

这套机器共有 248.8GB 模型权重,全部放在显存里,生成时不必把部分权重从系统内存临时搬回。八张卡采用“流水线 2 × 张量并行 4”的拆分方式,也就是把模型计算分摊到多张 GPU。作者还报告,系统读入 128K 长提示时,预填充速度约为 2,200 tok/s;预填充就是 AI 正式回答前先处理整段材料。它说明老卡经过专门优化,仍可能承接部分代码和长文任务。不过这些数字来自作者自测,材料没有提供独立复现结果。


供稿材料 SOURCES — 1

← 返回 2026-11-07 · 开源板块