买了显卡，本地跑大模型就像“免费用 AI”吗？并不是。真正持续发生的是推理——模型生成答案——期间的电费。更反直觉的是，模型参数少也未必更省钱：参数量只是模型所含数值权重的多少，不能单独决定生成速度和耗电效率。
作者 Arsen Apostolov 在一台配备 RTX 3090 24 GB 的机器上，用相同任务测试本地模型，并每 10 秒读取一次 GPU 功率，再按每次运行的实际时长累计能耗。测试采用约 4 分钟的固定负载，每轮生成 256 个 token；token 是模型处理和生成文字的基本单位。作者随后结合保加利亚分时电价，折算出每百万输出 token 的欧元成本。
作者称，测量的八个模型中，五个单位 token 电费低于其对照的云端 API，三个更高，而且结果并不按参数量单调排列。原因在于吞吐量——每秒能生成多少 token——同样关键：功率相近时，生成越快，每百万 token 分摊的电费越低。这项比较只计算推理的边际用电成本，不能替代包含显卡购置、维护等费用的完整自托管账单。