跳到正文
原文
arXiv 自然语言处理· Shaoliang Yang, Jun Wang·· 9 小时前AI 评分30

两款公开论文接收预测器的排名一致性无法反映段落编辑一致性

Ranking Agreement Does Not Reveal Paragraph-Edit Agreement in Two Released Paper Acceptance Predictors

AI 导读

研究发现两款基于 3B 参数语言模型微调的公开论文接收预测器,虽与基准分类器在整篇论文排名上高度或中度一致,但在段落重写修改评分上毫无明显一致性。在 198 篇 ICLR 论文及 32-bit 精度测试下,两者的编辑一致性依然接近于零;在每篇论文 5 个重写中选优时,平均原始得分比随机选择仅高出不到 2 分(满分 100 分)。

来源:arXiv 自然语言处理 · arxiv.org