PADMÉ：面向语言模型智能体评估器元评估的偏好对齐数据合成方法

研究人员提出数据合成方法 PADMÉ，将元评估重构为偏好判断问题，为大语言模型智能体评估器生成基于标准的元评估数据。PADMÉ 仅使用小语言模型且无需人工介入，合成了覆盖 4 个智能体领域和 3 个评估标准的 1,000 个样本数据集。在 150 样本的人工验证中，该方法将与人类判断的一致性从 73% 提升至 85%。