热点事件持续更新
研究者提出大模型注意力压缩框架FTC
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月，研究人员提出面向大语言模型注意力机制的顺序结构化Tucker压缩框架FTC。该框架无需微调或基于梯度的恢复，能够在固定存储预算下联合利用原生Q/K/V头结构，并动态适应顺序压缩带来的表征偏移。测试覆盖了6B至32B参数的7款decoder-only模型，结果显示FTC在5款GQA模型的所有保留比例下均取得对比方法中最低的WikiText-2困惑度。此外，该性能提升可有效迁移至下游任务，并在32B参数规模下保持显著优势。
AI 根据报道生成 · 2 小时前更新
最新进展10月2日 12:00
研究人员提出无需微调的注意力压缩框架FTC，在6B至32B模型测试中取得更低困惑度。报道时间线
沿着报道，了解事件的不同侧面。
10月2日
- arXiv 自然语言处理面向大语言模型注意力机制的顺序结构化 Tucker 压缩框架 FTC
研究人员提出大语言模型注意力压缩框架 FTC，无需微调或基于梯度的恢复，可在固定存储预算下联合利用原生 Q/K/V 头结构并动态适应顺序压缩带来的表征偏移。在 6B 至 32B 参数的 7 款 decoder-only 模型测试中，FTC 在 5 款 GQA 模型的所有保留比例下均取得对比方法中最低的 WikiText-2 困惑度。该性能提升可有效迁移至下游任务，并在 32B 规模下保持显著优势。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。