大模型装不进显存,就像一张书桌摊不下整套资料:可以把一部分放进柜子,但来回取用会拖慢速度。美光据报正在研究把 NAND 闪存——SSD 常用、容量大但比显存慢的存储介质——放到 GPU 封装或显卡电路板附近,让超出 HBM(GPU 身边的高速内存)容量的数据不必绕经传统存储链路。据 Hardware Busters 援引 DigiTimes 报道,该方案设想提供数百 GB 近端容量,并以较低存储密度换取读取速度、持续带宽和耐久度。
这条路线值得看,因为它试图在 HBM 与传统 SSD 之间插入新的一层:不追求和 HBM 一样快,而是用更大的容量承接部分模型数据。不过,闪存的微秒级读取延迟仍明显高于 HBM;相关系统模拟也发现,直接用高带宽闪存替换 SSD 未必提速,测试中的端到端延迟反而增加 2—5.5 倍。效果取决于把哪些数据放进去,以及整套内存层级如何配合。截至报道时,Micron 尚未公开确认该计划,也没有产品或时间表。