研究揭示LLM裁判在韩语评估中受细则语言与句式影响显著
Start here
2026年11月4日发布的一项研究显示，LLM裁判在评估韩语支持对话时，其裁决一致性受到评分规则语言与从句结构的显著影响。针对7款模型进行的51,744次请求测试表明，韩语规则下的跨厂商一致性明显低于英语规则（Cohen's kappa 分别为0.687与0.745）。裁决分歧主要集中在否定、条件与例外条款，比值比达到5.6。此外，单个模型在面对语义相同但表述不同的规则时，改判率达到11%至15%。
AI-generated from reports · Updated 15 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 自然语言处理同一规则不同裁决：韩语支持对话中规则语言与从句结构对 LLM 裁判的影响
LLM 裁判在评估韩语支持对话时，裁决一致性受评分规则语言与从句结构显著影响，韩语规则下的跨厂商一致性低于英语规则（Cohen's kappa 为 0.687 对比 0.745）。针对 7 款模型共 51,744 次请求的测试显示，裁决分歧主要集中在否定、条件与例外条款（比值比为 5.6），单个模型面对相同语义规则的改判率达 11-15%。
Story heat trend
Current heat 7·Comparable peak 10（Nov 4 14:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.