跳到正文
原文
arXiv 自然语言处理· Eran Goldstein, Yuval Belfer, Yonatan Belinkov, Daniel Gissin·· 2 小时前AI 评分43

LIFT:用于评估和训练指令遵循能力的作用域约束基准

LIFT: Scoped Constraints for Evaluating and Training Instruction Following

AI 导读

研究人员推出了指令遵循评测基准 Lift-Bench 及其训练集 Lift-Train,通过将约束限定在特定文档章节来提供更精细的约束控制。该基准要求模型根据主题和结构化大纲起草文档,包含可验证与需判定的约束,同时兼顾主任务与指令遵循以减少奖励作弊。实验显示前沿模型在其高难度子集上表现受限,且相关资源与数据生成流程均已公开。

来源:arXiv 自然语言处理 · arxiv.org