跳到正文
原文
arXiv 人工智能· Yuanhe Zhang, Ziwei Wang, Jie Ren, Haoran Gao, Zhenhong Zhou, Fanyu Meng, Cong Wu, Li Sun, Sen Su·· 5 小时前AI 评分43

大语言推理模型失控推理的注意力动态机制研究

When Reasoning Goes Astray: Attention Dynamics of Uncontrolled Reasoning

AI 导读

针对大语言推理模型(LRM)冗余验证与循环生成等推理失控问题,研究团队提出了 RADAR 分析方法,将生成过程划分为四种状态以实时识别推理状态演变。时序分析表明异常注意力偏离在表层重复出现前即可被检测;通过 Attention Realignment 纠正异常分布,能在基本保留正常推理性能的同时有效减少死循环。

来源:arXiv 人工智能 · arxiv.org