大语言模型置信度研究：强化学习 Critic 可直接复用为置信度估计器

强化学习训练中的 Critic 可以直接复用为大语言模型的开箱即用置信度估计器，无需额外的数据或训练。研究证明在基于正确性的结果下，置信度估计与 Critic 训练在数学上等价，Critic 能够评估包括中间推理步骤在内的生成置信度且不影响任务性能。在涵盖数学、代码、工具调用等跨十余个领域的测试中，复用的 Critic 在所有分布内测试中表现最优，并在 16 个测试中有 14 个取得了最佳校准度。