arXiv 机器学习· Hanzhi Zhang, Qiao Zhang, Qinglei Cao, Heng Fan, Yan Huang, Kewei Sha, Yunhe Feng·· 7 時間前AI スコア36
TriAttention：面向长上下文 LLM 推理的统一稀疏混合精度注意力机制
TriAttention: Unified Sparse Mixed-Precision Attention for Long-Context LLM Inference
未翻訳のため中国語で表示しています。
AI ガイド
研究人员提出 TriAttention 机制，将 QK 分块分配给跳过、4-bit 或 8-bit 计算以降低长上下文 LLM 推理开销。其预填阶段生成的量化键值直接复用于压缩 KV cache，以减少解码读取。测试显示，TriAttention 端到端生成速度相比 Torch attention 最高提升 7.88x，相比 BF16 基线提升 2.65x，且模型质量相当。
出典：arXiv 机器学习 · arxiv.org