arXiv 自然语言处理· Ethan Ludwick, Yu-Chung Hsiao·2026-10-22 12:00· 2 小时前AI 评分38

SANE：面向 LLM Judge 的自动化特定评分器蜕变测试框架

SANE: Automated Scorer-Specific Metamorphic Testing for LLM Judges

AI 导读

研究团队推出基于智能体的框架 SANE，可针对特定打分器自动生成扰动方案与预期分值关系，并完成独立验证以测试 LLM Judge 的可靠性。在 5 个领域中，SANE 生成的验证测试族数量是基准方案 JRH 的 3.7 倍，且在专业性和毒性等所有领域均检测出打分器缺陷。