arXiv 自然语言处理· Woojin Lee, Yoonkyu Woo, Jinah Kim, Hyeok-Min Gwon, Jin-Xia Huang·· 9 小时前AI 评分45
MisconceptDialogue：评估标准决定 LLM 数学辅导的测定成效
MisconceptDialogue: Evaluation Criteria Shape Measured Success in LLM Math Tutoring
AI 导读
MISCONCEPTDIALOGUE 框架在 5 款 7B-14B 开源大语言模型与模拟学生的 5,000+ 轮对话中，系统评测了数学纠错辅导能力。测试表明，精确匹配评分得出的纠正成功率仅为 42.1%，而人类校准的 LLM-as-judge 高达 81.3%，差距达 39.2 个百分点。此外，无论提供真实还是故意调换的错误诊断，辅导得分几乎无差异，显示模型未能可靠利用诊断信息。
来源：arXiv 自然语言处理 · arxiv.org