跳到正文
原文
arXiv 自然语言处理· Mateusz Modrzejewski, Tomasz Radzikowski·· 7 小时前AI 评分39

工具增强模型对比中的提示词敏感度研究

Prompt Sensitivity in Tool-Augmented Model Comparisons

AI 导读

一项针对 6 个开源模型的研究表明,为模型引入外部工具虽然能提高问答准确率,却会放大模型成对对比中对提示词表述的敏感度。在 5 个领域和 5 种表述的测试中,敏感度的扩大与模型调用工具的频率直接相关,且确定性的工具输出并不能保证评测排名的稳定性。研究建议基准测试在准确率之外,应同时汇报工具调用频率及多表述下的对比稳定性。

来源:arXiv 自然语言处理 · arxiv.org