arXiv 自然语言处理· Mo Zhou·· 10 小时前AI 评分35
跨任务与语域评估中文大语言模型偏见：任务操作化效应与反讽分类风险
Evaluating Bias in Chinese Large Language Models across Tasks and Registers: Task Operationalization Effects and Irony Classification Risks
AI 导读
一项针对多个中文大语言模型的预注册多任务行为审计显示，模型在内容分类实验中的分类错误率从正式语域的 10.9% 升至阴阳怪气（反讽）语域的 23.5%，风险差达 +12.7 个百分点。研究发现显式反讽感知提示词可将干预组的错误率降低 9.6 个百分点。基于 29 个共享命题锚点构建的三种任务形式表明，中文内容治理的模型安全评估需纳入反讽语域作为测试条件。
来源：arXiv 自然语言处理 · arxiv.org