arXiv 自然语言处理· Michael Dinzinger, Kanishka Ghosh Dastidar, Michael Granitzer·· 9 小时前AI 评分46
System One 模型并非更好的重排序器
System One models Are Not Better Rerankers
AI 导读
一项评估 0.6B 至 27B 参数 Qwen 主干网络的研究表明，System One 决策微调模型的重排序表现并未优于普通重排序微调。在 10 个 TREC DL 和 BEIR 数据集上，0.6B 到 9B 规模下普通重排序微调的 nDCG@10 高出 5 至 29 点，27B 时两者持平。研究指出其概率校准优势无法弥补排序缺陷，开发重排序应用时仍应直接微调重排序器。
来源：arXiv 自然语言处理 · arxiv.org