评估大语言模型作为网络仇恨言论反驳质量裁判的能力

一项针对 12 款开源权重 LLM 的研究表明，大语言模型评估反仇恨言论质量时与人类专家一致性偏低，但模型间高度一致。表现最好的 Qwen 2.5 72B 与专家的单点评分 $\kappa_l$ 仅 0.19，而成对评估中 OLMo 2 32B 与 Llama 3.3 70B 间 $\kappa$ 达 0.76。此外，将单点评分转为成对标签可显著提升部分配置的人机一致性。