arXiv 自然语言处理· Jewon Yeom, Jaewon Sok, Seonghyeon Park, Jeongjae Park, Hwiyeong Lee, Taesup Kim·· 10 小时前AI 评分35
解耦多语言 P(True) 自我评估中的问题、回答与验证语言
Disentangling Question, Response, and Verifier Languages in Multilingual P(True) Self-Evaluation
AI 导读
大模型多语言 P(True) 自我评估中问题、回答与验证语言会独立影响结果，仅验证语言改变即可使校准误差偏移达 0.04 且不改变准确率。针对 10 款 3B-14B 开源模型在 LSQA、MMMLU、TriviaQA 上的测试表明，匹配回答语言能提升区分度但无法改善校准，多语言置信度与模型排名必须报告全部三种语言并验证评分器。
来源：arXiv 自然语言处理 · arxiv.org