arXiv 人工智能· Ulyana Tkachenko, Hui Wen Goh, Guram Gogia, Jonas Mueller·· 9 小时前AI 评分41
Rubricon:用于 LLM 评测与训练的自动化评分规则生成与细化
Rubricon: Automated Rubric Generation and Refinement for LLM Evaluation and Training
AI 导读
Rubricon 提出了一种无需人类偏好标签、人工标注或模型训练即可自动化生成与细化评分规则的流程。在 5 个 LLM 评测基准上,其评分结果与专家人工评分规则的对齐度比 RRD 等最强替代方法提升 9%。在 HealthBench 上使用 Rubricon 评分规则对 Qwen3.5-9B 进行后训练,模型性能表现较 RRD 提升 4.5%。
来源:arXiv 人工智能 · arxiv.org