arXiv 自然语言处理· Olivia Macmillan-Scott, Mirco Musolesi·· 1 天前AI 评分35
ContextAdapt:评估 LLM 的情境适应与价值对齐
ContextAdapt: Evaluating Contextual Adaptation and Value Alignment in LLMs
AI 导读
ContextAdapt 评估框架涵盖医疗、法律、金融和国家安全领域,测试 LLM 在专业情境下的价值对齐与规范适应能力。对 12 个 LLM 的评测显示,模型行为推荐的平均适当性达 95.6%,但提供正确领域特定理由的比例在 25.6% 至 76.9% 间差异显著。此外,当利害关系改变时,模型常在专业义务未变的情况下因感知严重性而改变响应并触发信息披露。
来源:arXiv 自然语言处理 · arxiv.org