arXiv 机器学习· Zeyong Zhang, Tung Sum Thomas Kwok, Tengfei Ma, Mengjia Xu·· 5 小时前AI 评分34
犹豫具有几何特征：用于稀疏激活引导的熵训练双曲探针
Hesitation Has a Geometry: Entropy-Trained Hyperbolic Probes for Sparse Activation Steering
AI 导读
研究团队提出双曲熵引导方法 HEST，利用以模型自身 next-token 熵训练的轻量双曲探针，仅在模型高熵的关键 token 处进行稀疏激活干预。在 Qwen2.5-Math 与 Llama-3.1 系列模型上，HEST 在 MATH-500 和 GSM8K 评测中将贪婪解码准确率最高提升 1.8 个百分点，且在模型频繁犹豫的题目上提升最为显著。
来源：arXiv 机器学习 · arxiv.org