arXiv 自然语言处理· Alessandro Rozza, Davide Mambelli, Steven Motta, Juri Taresch·· 9 小时前AI 评分35
陪审团而非选民团：大语言模型集成的无标签可靠性估计
A Jury, Not an Electorate: Label-Free Reliability Estimation for Ensembles of Language Models
AI 导读
研究提出将大语言模型集成建模为“陪审团”，通过期望最大化（EM）算法直接从无标注的答案一致性模式中估计各专家的可靠性。在 1560 道题目的评测基准上，由 9 个最高 3B 参数的专家模型组成的集成系统表现与有标签监督拟合权重的规则相当，且超越了具备同等自洽性（self-consistency）的最佳单模型及最强的无标签基线方法。
来源：arXiv 自然语言处理 · arxiv.org