arXiv 自然语言处理· Zhenxu Tian, Kebin Liu, Zhengwu Yang, Yi Su, Qingqing Dang, Yanlin Sha, Kaipeng Deng, Dianhai Yu, Yanjun Ma, Juntao Li, Min Zhang·· 5 小时前AI 评分44
Prism Attention：面向大语言模型高效推理的候选精炼索引共享机制
Prism Attention: Proposal-Refined Index Sharing Mechanism for Efficient LLMs Inference
AI 导读
研究人员提出 Prism Attention 稀疏注意力框架，采用由粗到细的策略取代传统跨层索引静态复用，以优化大语言模型长上下文解码效率。该方法在推理和长上下文基准上达到主流稀疏注意力方法中的最优表现。在 128K context length 下，其相比 FlashAttention 实现了 3.4x 的端到端解码加速。
来源：arXiv 自然语言处理 · arxiv.org