arXiv 自然语言处理· Ashima Suvarna, Ruta Desai, Ahmed Elgohary·· 9 小时前AI 评分45
盲区：小语言模型在终端任务上究竟在何处落后于前沿模型
Blind Spots: Where Small Language Models Fall Behind Frontier Models on Terminal Tasks
AI 导读
一项研究从可解性、验证与置信度三个维度，分析了小语言模型（SLM）在终端任务上落后于前沿模型（FM）的具体差距。在两个标准终端基准测试中，重复采样虽能缩小但无法消除可解性差距，且 SLM 在候选解验证上持续显著落后。此外，SLM 对自身任务成功率表现出更严重的过度自信与更差的校准能力，证实模型差距具有多维性。
来源：arXiv 自然语言处理 · arxiv.org