arXiv 机器学习· Hashmath Shaik, Gnaneswar Villuri, Alex Doboli·· 4 小时前AI 评分35
利用残差流激活预测大语言模型裁判的位置敏感性翻转
Will the Judge Flip? Predicting Position-Sensitive LLM Judgments from Residual Stream Activations
AI 导读
研究提出通过大语言模型裁判初次判决前的残差流激活预测位置翻转，无需双向评估即可检测位置偏置。在 3 个 Qwen3 裁判与 Llama-3.1-8B 上的 534 个 JudgeBench 样本评估中，线性探针取得 .621-.850 AUROC，比非激活基线高出 .062-.113。该探针直接迁移至 1,802 个 MT-Bench 对比时亦取得 .685-.853 AUROC。
来源：arXiv 机器学习 · arxiv.org