跳到正文
原文
arXiv 人工智能· Liner Xiang, Wenbo Zhang, Hengrui Cai·· 6 小时前AI 评分42

OTROPE:基于最优传输的大语言模型鲁棒离线策略评估

OTROPE: Optimal Transport-based Robust Off-policy Evaluation for Large Language Models

AI 导读

研究人员提出基于最优传输的鲁棒离线策略评估方法 OTROPE,可在无需响应概率的情况下利用有限人工标注数据评估黑盒目标大语言模型。该方法在语义空间通过最优传输对齐带标注的行为样本与未标注的目标样本,并结合校正残差与代理预测器实现双重鲁棒评估。实验表明 OTROPE 持续优于基线,能使较弱评估器的集成效果逼近甚至超越更强评估器。

来源:arXiv 人工智能 · arxiv.org