你让 AI 一边查资料、一边调用工具,任务做得越久,它留下的操作记录就越厚。每次继续工作,模型都要先重读这些历史;这叫上下文预填充,像答题前反复通读整本材料,既慢又贵,还可能让关键线索淹没其中。Akashic瞄准的正是这笔不断增长的推理账单。
它的核心是 MemAttention:把历史切成大小受控的小块,新内容写入时,只找少量语义相关的旧块共同整理。所谓语义相关,是指“退款进度”和“钱何时退回”即使用词不同,也会被视为同一件事。这样既不用反复改写全部历史,又能避免相关证据被切散。系统还把经常一起取用的记忆块放得更近,以减少读取开销。作者在四类任务和三种模型规模上的实验称,相比最强的既有记忆基线,Akashic最高提高10.2个准确率点,吞吐量达到1.21倍,可持续请求率达到1.88倍;这些效果目前仍以论文自报实验为准。