Skip to content
arXiv 人工智能· Gustavo Tironi, Felipe Maia Polo, Diego Mesquita·· 15 hours agoAI score40

用于低成本 AI 评测的 Beta 混合分布方法

Few Trials, Many Metrics: Beta Mixtures for Low-Budget AI Evaluation

Not yet translated; shown in Chinese.

AI guide

研究提出利用边际极大似然拟合 Beta 混合分布,仅需单次拟合即可在闭式解下直接计算任意跨度的 Pass^k 与 AUC@k,并推导出无需额外模型调用的 delta-method 置信区间。在竞赛数学与研究生级科学基准测试中,该方法外推表现优于朴素估计,且置信区间覆盖全量数据参考;将其扩展至提示词敏感度分析时,估算精度同样优于同类基线。

Source:arXiv 人工智能 · arxiv.org