arXiv 人工智能· Thomson Yen, Gilbert Yang, Naimeng Ye, Minghui Chen, Dong Xia, Tianyi Shen, Yechan Jeon, Yaqin Chen, Daksh Mittal, Fangyu Wu, Hongseok Namkoong·· 7 小时前AI 评分47
Seq@K：在序列反馈下评估大语言模型
Seq@K: Evaluating Language Models Under Sequential Feedback
AI 导读
研究人员提出评估协议 Seq@K，用于衡量大语言模型在每次失败获得反馈的情况下，能否在 K 次连续尝试内解决问题。在 7 个基准和 16 个前沿模型上的测试表明，Seq@K 呈现出与传统 Pass@K 截然不同的模型排名与帕累托前沿，能更真实地评估智能体系统在反馈循环中的迭代修正能力。
来源：arXiv 人工智能 · arxiv.org