arXiv 自然语言处理· Sangdo Han, Moonsoo Kim·· 15 時間前AI スコア37
同一规则不同裁决：韩语支持对话中规则语言与从句结构对 LLM 裁判的影响
Same Rule, Different Verdicts: Rubric Language and Clause Structure in LLM Judges for Korean Support Dialogues
未翻訳のため中国語で表示しています。
AI ガイド
LLM 裁判在评估韩语支持对话时，裁决一致性受评分规则语言与从句结构显著影响，韩语规则下的跨厂商一致性低于英语规则（Cohen's kappa 为 0.687 对比 0.745）。针对 7 款模型共 51,744 次请求的测试显示，裁决分歧主要集中在否定、条件与例外条款（比值比为 5.6），单个模型面对相同语义规则的改判率达 11-15%。
出典：arXiv 自然语言处理 · arxiv.org