研究评估大模型作为反仇恨言论裁判的可靠性
Start here
2026年11月4日，arXiv发布了一项针对12款开源权重LLM的研究，探讨大语言模型作为网络仇恨言论反驳质量裁判的能力。研究结果显示，大模型在评估反仇恨言论质量时与人类专家的一致性普遍偏低，但在不同模型之间却呈现出高度一致性。其中，表现最佳的Qwen 2.5 72B与专家的单点评分一致性指标仅为0.19；而在成对评估中，OLMo 2 32B与Llama 3.3 70B之间的一致性指标达到0.76。此外研究指出，将单点评分转化为成对标签能够显著提升部分配置下的人机一致性。
AI-generated from reports · Updated 18 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 自然语言处理评估大语言模型作为网络仇恨言论反驳质量裁判的能力
一项针对 12 款开源权重 LLM 的研究表明，大语言模型评估反仇恨言论质量时与人类专家一致性偏低，但模型间高度一致。表现最好的 Qwen 2.5 72B 与专家的单点评分 $\kappa_l$ 仅 0.19，而成对评估中 OLMo 2 32B 与 Llama 3.3 70B 间 $\kappa$ 达 0.76。此外，将单点评分转为成对标签可显著提升部分配置的人机一致性。
Story heat trend
Current heat 6·Comparable peak 10（Nov 4 14:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.