arXiv 自然语言处理· Jatin Agrawal, Radhika Mamidi·· 3 小时前AI 评分42
主观文本评估中类型化决策模型的呈现敏感性分析
Presentation Sensitivity in Typed Decision Models for Subjective Text Evaluation
AI 导读
一项针对 Jev、Clef Flash 与 Perplexity Decider 的审计显示，类型化决策模型在主观文本评估中极易受呈现方式影响。在 6 个数据集与 70.2 万次评判中，位置偏差让 Jev 的第二位置概率优势达 6.11 个百分点，反转背书改变了 Perplexity 40.40% 的幽默选择，拒绝框架更使 Clef 与人类偏好一致性下降 23.36 点。
来源：arXiv 自然语言处理 · arxiv.org