arXiv 自然语言处理· Johnny Alali, Nicol\'as Benjam\'in Ocampo, Davide Ceolin·· 19 hours agoAI score35
评估大语言模型作为网络仇恨言论反驳质量裁判的能力
Evaluating LLMs as Judges of Counterspeech Quality Against Online Hate Speech
Not yet translated; shown in Chinese.
AI guide
一项针对 12 款开源权重 LLM 的研究表明，大语言模型评估反仇恨言论质量时与人类专家一致性偏低，但模型间高度一致。表现最好的 Qwen 2.5 72B 与专家的单点评分 $\kappa_l$ 仅 0.19，而成对评估中 OLMo 2 32B 与 Llama 3.3 70B 间 $\kappa$ 达 0.76。此外，将单点评分转为成对标签可显著提升部分配置的人机一致性。
Source:arXiv 自然语言处理 · arxiv.org