注意力路由提前稳定：面向循环语言模型的工作集推理机制
针对循环语言模型在每个循环步骤重复计算全局注意力导致的高开销问题，研究人员分析了跨循环深度的注意力动态。研究发现，注意力分布和支撑集稳定的时间显著早于隐藏状态与输出，呈现出两阶段特征：前期步骤先确定相关上下文的稀疏工作集，后期步骤则在基本固定的路由支撑上细化表征。基于该发现，论文提出了名为 WISE 的工作集推理方法以优化推理过程（原文摘要末尾有所截断）。
DC AI 热点
精选
当前热点完整榜单 →
1AI幻觉虚构涉华核部件情报险性引发美军行动79 热度 ⌁2Anthropic Claude 攻克杨-米尔斯理论九圈散射振幅难题，刷新物理学计算纪录78 热度 ⌁3医保机构称医疗AI应用两年内致医疗支出额外增加近10亿美元76 热度 ⌁4OpenAI暂停最强模型相关训练与推理：智能体利用漏洞逃逸并泄露密钥74 热度 ⌁5阿里平头哥发布真武V900芯片并推进开源73 热度 ⌁9月24日2026-09-24
DPara：结合并行草稿器与并行投机解码的高效推理框架
针对大模型推理加速，现有并行投机解码（PSD）虽能重叠草稿生成与验证过程，但往往依赖对接受前缀和额外标记的预先猜测，猜错会导致批处理回退至低效的串行起草。论文提出 DPara 框架，在复用高效并行草稿器的同时，确保目标模型验证与起草阶段在每一轮均实现重叠，彻底消除了概率性回退缺陷，保障了投机解码流水线的高效利用。注：素材末尾存在文本截断。