arXiv 机器学习· Andreas Kirsch·· 1 天前AI 评分35
共享 KV Cache 的 LSTM 风格循环 Transformer
LSTM-Style Looped Transformers with Shared KV Caches
AI 导读
研究提出一种共享 KV cache 的 LSTM 风格循环 Transformer，在 1024 宽度下比未绑定权重的对照模型减少 40.4% 参数，并将持久缓存集从 15 组缩减至 4 组。针对并行训练与递归续写生成的缓存不匹配问题，该架构在最后 10% 训练 token 预算中引入一致性损失对齐缓存，在 FineWeb 上消除了 81–89% 的续写损失惩罚。
来源：arXiv 机器学习 · arxiv.org