COMPASS：探寻语言模型中推理能力的所在位置

COMPASS 是一种针对大语言模型的推理期激活引导方法，通过模型自身直接回答的正确性信号定位关键注意力头并引导其激活以激发推理。该方法在三个模型族和多个数学基准中优于现有激活引导基线，使 GSM8K 准确率平均提升 16 个百分点。COMPASS 在生成 token 减少 20-70% 的情况下接近 CoT 准确率，且干预无需重新拟合即可迁移至未见基准。