全注意力什么都记得住，但越长越贵；滑动窗口便宜，窗口外的内容却真的丢了。

这篇 Maglev 来自德州大学奥斯汀分校，想两头都要。训练时用一个能看到全历史的预填器生成记忆目标，让只用滑动窗口的解码器去对齐，靠 KV 缓存往前带；推理时预填器丢掉，只剩固定大小的注意力和缓存。

说白了是拿训练算力换推理开销，不是白捡的便宜。

数字要看清楚：435M 参数规模上，BPB 从 0.7413 降到 0.7251，平均准确率从 54.1% 到 56.4%。方向对，但属于稳步改善，不是量级差距，而且是小模型预训练的结论。

帖子自己也点了出来：缺的恰恰是记忆持久性验证。做长文档长对话的值得盯，几千 token 的常规应用不用折腾。

#人工智能就业 #AI新手村 #大模型 #论文阅读分享 #Transformer