arXiv 自然语言处理· Johnny Alali, Nicol\'as Benjam\'in Ocampo, Davide Ceolin·· 18 時間前AI スコア35
评估大语言模型作为网络仇恨言论反驳质量裁判的能力
Evaluating LLMs as Judges of Counterspeech Quality Against Online Hate Speech
未翻訳のため中国語で表示しています。
AI ガイド
一项针对 12 款开源权重 LLM 的研究表明，大语言模型评估反仇恨言论质量时与人类专家一致性偏低，但模型间高度一致。表现最好的 Qwen 2.5 72B 与专家的单点评分 $\kappa_l$ 仅 0.19，而成对评估中 OLMo 2 32B 与 Llama 3.3 70B 间 $\kappa$ 达 0.76。此外，将单点评分转为成对标签可显著提升部分配置的人机一致性。
出典：arXiv 自然语言处理 · arxiv.org