让 AI 连续读上千万个 Token，就像让人读完一整间档案室，还得随时回答第一页写了什么。标准 Transformer 要把读过内容的中间结果存进 KV cache——模型避免反复重算的“草稿纸”。据项目分享帖估算，一个 1.3B 参数模型处理千万 Token 时，KV cache 可达 2.1TB；Muir 则尝试把历史压进固定的 25MB 状态。
压缩的难点是：旧信息很容易被新内容冲掉。Muir 使用门控线性注意力，让可学习的“阀门”决定信息的写入、保留和遗忘；其关键改动是校准不同记忆通道的读取强度，避免保留时间长的通道能量过高、盖住其他信息。分享帖称，这让写入时的擦除减少 17%，可回看的距离延长 60%；模型还能以 25MB 状态连续处理千万 Token，困惑度没有漂移。值得注意的是，这些数字来自项目分享帖转述，尚缺本文材料范围内的独立核查。