为什么用大语言模型生成置信度分数不可靠

大语言模型生成的置信度分数本质上只是自回归输出的合理文本词元，既不反映事实依据的充分程度，也未针对真实正确率进行过校准。作者指出，改变提示词措辞、前文语气或多次询问都会导致置信度数值大幅漂移，因为模型只学习了置信度文本的外观形态。针对需要筛选不确定回答的智能体系统，应将评分规则与大语言模型生成解耦，基于检索匹配度、多轮一致性及人工核验历史等外部特征建立独立的校准体系。