热点事件观察中
研究提出共享KV缓存的循环Transformer架构
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
2026年10月27日，arXiv发布一项机器学习研究，提出一种共享KV缓存的LSTM风格循环Transformer架构。该架构在1024宽度下相比未绑定权重的对照模型减少了40.4%的参数，并将持久缓存集从15组缩减至4组。针对并行训练与递归续写生成过程中的缓存不匹配问题，该架构在最后10%的训练token预算中引入一致性损失以对齐缓存，在FineWeb上消除了81%至89%的续写损失惩罚。
AI 根据报道生成 · 2 小时前更新
最新进展10月27日 12:00
研究提出共享KV缓存的循环Transformer，大幅缩减参数与缓存并减少续写惩罚。报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- arXiv 机器学习共享 KV Cache 的 LSTM 风格循环 Transformer
研究提出一种共享 KV cache 的 LSTM 风格循环 Transformer，在 1024 宽度下比未绑定权重的对照模型减少 40.4% 参数，并将持久缓存集从 15 组缩减至 4 组。针对并行训练与递归续写生成的缓存不匹配问题，该架构在最后 10% 训练 token 预算中引入一致性损失对齐缓存，在 FineWeb 上消除了 81–89% 的续写损失惩罚。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。