arXiv 自然语言处理· Pragna Mallappa·· 4 小时前AI 评分51
Token 置信度只是链条长度吗?对推理轨迹的信号处理审计
Is Token Confidence Just Chain Length? A Signal-Processing Audit of Reasoning Traces
AI 导读
研究通过信号处理工具评估推理语言模型的 token 置信度剪枝方法,发现窗口最小置信度评分主要反映的实质是推理链的长度。在两个数学基准测试上,仅按链长排序的效果与置信度评分相当甚至更好,控制长度后该分数不再提供关于答案正确性的有效信息。实验表明置信度信号漂移缓慢导致更长链条更容易偶然出现低分,用于提前终止推理链时效果也不及直接减少采样链数。
来源:arXiv 自然语言处理 · arxiv.org