arXiv 自然语言处理· Jiayi Xin, Evan Qiang, Zihan Zhu, Xiang Li, Weijie J. Su, Qi Long·· 1 天前AI 评分35
基于释义感知评分的 LLM 不确定性量化保形预测方法
Conformal Prediction with Paraphrase-Aware Scoring for LLM Uncertainty Quantification
AI 导读
研究人员提出一种释义感知的保形预测框架，用于解决大语言模型在语义重述下不确定性量化不稳定的问题。该方法在 LLM 隐藏状态上训练轻量代理模型，通过聚合释义预测构建评分以实现鲁棒的保形校准。在 7 个多选题 QA 基准及多个模型族上的测试表明，该方法能生成紧凑的预测集合且经验覆盖率接近名义目标，相关代码已开源。
来源：arXiv 自然语言处理 · arxiv.org