arXiv 自然语言处理· Taiyi Chen, Iskar Deng, Amandalynne Paullada·· 4 小时前AI 评分29
识别叫吃与评估先手:基于语言的围棋智能体受控评测任务
Recognizing Atari and Assessing Sente: Controlled Evaluation Tasks for Language-Based Go Agents
AI 导读
研究人员构建了一套围绕围棋中“叫吃”及其与“先手”关系的受控评测集,用于检验基于语言的围棋智能体能否准确识别术语并关联走法评估。在经过术语与解说监督微调的围棋大语言模型 LoGos 上测试发现,该模型难以识别叫吃关系的变化并评估其战略影响。模型对术语的预测还会与走法偏好产生关联,甚至出现偏好与参考评估相矛盾的情况。
来源:arXiv 自然语言处理 · arxiv.org