小模型像只有一张小书桌，资料放不下；这项业余研究给它接了一座可随用随查的“书库”。作者 fechyyy 为一个 2100 万参数模型配上 64 亿参数的查找表——一组按索引读取的向量。模型生成每个 token（文字片段）时，只调取其中少量内容，而非把整座书库搬进显存。作者自述，在同样用 5 亿个 Wikipedia token 训练后，它的表现大致追平 1.14 亿参数的稠密模型；后者每次计算通常会动用大部分参数。
更有意思的是，这张含 1680 万行的表不必常驻显存。作者把它压成 4-bit，并通过内存映射放在 NVMe SSD 上；在 RX 9070 上生成速度仍约为每秒 140 token，只占 0.4GB 显存。这为低显存设备提供了一条容量换带宽的路线，但代价也很具体：读取长提示词较慢，每次查不到缓存内容，都要从 SSD 读取一个完整的 4KB 页面。结果目前来自小规模实验，大型运行仅做了一个随机种子；模型虽能写出流畅的 Wikipedia 风格英文，却会编造事实。