arXiv 自然语言处理· Jiawei Dong, Zilong Bai, Pengtian zhu, Peng Zhou·· 9 小时前AI 评分40
SOPO:面向片段级模型幻觉检测的苏格拉底式引导策略优化
SOPO: Socratic Guided Policy Optimization for Span-Level Hallucination Detection
AI 导读
研究人员提出用于片段级模型幻觉检测的多轮强化学习框架 SOPO,利用教师模型间接提示的苏格拉底反馈机制缓解奖励稀疏,并结合轮次优势缩放抑制长度膨胀。SOPO(4B)在 RAGTruth 上超越 GPT-5 等专有模型与标准 RL 基线,在 4 个域外基准上的平均分优于 GRPO。相关训练评测代码及 1.7B、4B 模型已开源。
来源:arXiv 自然语言处理 · arxiv.org