arXiv 自然语言处理· Jiayi Li, Dennis L. Shung, Bradly C. Stadie·· 5 小时前AI 评分37
在不同证据状态下校准语言模型
Each Insufficient in Its Own Way: Calibrating Language Models Across Varying Evidence States
AI 导读
针对大语言模型证据不足仍盲目作答的问题，研究人员提出 SuffiCE 方法，通过微调模型的 next-token 分布置信度实现证据状态校准。在临床诊断与多跳问答任务中测试两个家族的 4 个模型，SuffiCE 将 Brier 分数降低高达 60%，AUROC 最高提升 0.16，让模型能准确判断现有证据是否足以作答。
来源：arXiv 自然语言处理 · arxiv.org