arXiv 人工智能· Gustavo Tironi, Felipe Maia Polo, Diego Mesquita·· 15 hours agoAI score40
用于低成本 AI 评测的 Beta 混合分布方法
Few Trials, Many Metrics: Beta Mixtures for Low-Budget AI Evaluation
Not yet translated; shown in Chinese.
AI guide
研究提出利用边际极大似然拟合 Beta 混合分布,仅需单次拟合即可在闭式解下直接计算任意跨度的 Pass^k 与 AUC@k,并推导出无需额外模型调用的 delta-method 置信区间。在竞赛数学与研究生级科学基准测试中,该方法外推表现优于朴素估计,且置信区间覆盖全量数据参考;将其扩展至提示词敏感度分析时,估算精度同样优于同类基线。
Source:arXiv 人工智能 · arxiv.org