arXiv 自然语言处理· Kiwoong Park, Seyoung Song, Donghyun Woo, Alice Oh·· 9 小时前AI 评分35
朝鲜还是韩国？评估大语言模型对朝鲜语言、社会与知识的理解
North or South? Diagnosing LLMs' Understanding of North Korean Language, Society, and Knowledge
AI 导读
研究人员推出经人工验证的评测基准 LENS，包含 1,765 道问题，用于评估大语言模型在语言鲁棒性、社会文化视角对齐和领域特定知识三维度的能力。评测显示，现有模型在处理朝鲜语输入时性能轻微下降，但在社会文化视角对齐上差距更大，且领域特定知识存在严重缺陷。定性分析进一步表明，模型常混淆官方制度与现实生活、投射自由民主假设或依赖刻板印象。
来源：arXiv 自然语言处理 · arxiv.org