arXiv 自然语言处理· Raghavv Goel, Sudhanshu Agrawal, Mukul Gagrani, Risheek Garrepalli, Mingu Lee·· 8 小时前AI 评分34
分析大语言模型隐藏状态的信息与几何特性以优化推测解码
Surfing the Activation Wave: Analyzing the Information and Geometry of LLM Hidden States for Speculative Decoding
AI 导读
研究人员提出一种用于投机解码（speculative decoding）的多层隐藏状态选择原则性框架，依据矩阵熵评估的信息量与 CKA 评估的多样性来挑选兼具高信息量和低冗余的层级子集。该框架结合 token-entropy filtering 剔除低预测熵 token，在 EAGLE3 风格的投机解码中表现优于默认的 $[2, N//2, N-3]$ 等固定启发式规则。
来源：arXiv 自然语言处理 · arxiv.org