arXiv 自然语言处理· Sixun Dong, Yebowen Hu, Ming Yin, Yiran Chen, Fei Liu, Chen Chen·· 15 小时前AI 评分43
灵敏度还是判定标准？测量与调整大语言模型何时采取行动
Sensitivity or Criterion? Measuring and Moving When Language Models Act
AI 导读
研究人员提出针对物理状态工具使用的诊断基准 FlipAct，通过信号检测理论将大语言模型何时采取行动的能力解耦为灵敏度和判定标准。在 44 个开源模型的测试中，灵敏度随模型规模增大而提升，但判定标准与规模无关，且多数模型表现偏向保守。研究通过激活转向及自蒸馏可在不显著改变灵敏度的情况下调整判定标准，并成功迁移至 6 个外部基准。
来源：arXiv 自然语言处理 · arxiv.org