arXiv 自然语言处理· Aneesh Komanduri, Majid Afshar, Timothy A. Miller, Yanjun Gao·· 4 小时前AI 评分33
通过因果鲁棒性度量大语言模型的机理不确定性
Measuring Mechanistic Uncertainty in Large Language Models via Causal Robustness
AI 导读
研究人员提出了基于因果鲁棒性裕度度量大语言模型机理不确定性的新方法，通过使模型输出发生偏离所需的最小内部干预来刻画不确定性。该方法利用 Jacobian Lens 概念引导向量实现，在 3 个开源模型和 5 个问答数据集上的实验表明，错误和不确定的回答具有更小的裕度且对内部干预更敏感。在知识注入实验中，正确学习的事实训练后裕度增加，可有效补充传统的基于输出的不确定性量化方法。
来源：arXiv 自然语言处理 · arxiv.org