arXiv 自然语言处理· Feifei Qian, Xuan Chen, Lixin Cui, Chaoyang Mei, Fanlin Meng, Shuyao Xiao, Ming Cui, Junxi Yin, Lu Bai·· 8 小时前AI 评分35
从结构到有效性:机制引导的 LLM 评分量规生成与微调
From Structure to Validity: Mechanism-Guided Generation and Refinement of LLM Rubrics
AI 导读
研究人员通过对标准组织、标准操作化和分数聚合开展机制分析,提出了评分量规生成与微调方法 ARTS-Hybrid。该方法结合自适应树构建与语义优先、响应校准的微调策略,在跨基准测试中提升了端到端评估性能与评分量规的内在质量。实验还表明,其生成的评分量规能为模型优化提供有效信号。
来源:arXiv 自然语言处理 · arxiv.org