arXiv 自然语言处理· Natapong Nitarach, Phume Ngampornsukswadi, Pittawat Taveekitworachai, Surapon Nonesung, Warit Sirichotedumrong, Kunat Pipatanakul·· 6 小时前AI 评分35
AMLworld-Compact：面向高性价比 LLM 评测与错误诊断的重要度加权下采样评测集
AMLworld-Compact: Importance-Weighted Downsampling for Cost-Effective LLM Evaluation and Error Diagnosis
AI 导读
研究团队推出 AMLworld-Compact 评测集，通过保留全部非法交易并对良性交易分层采样，将 HI-Small 和 LI-Small 的评测目标分别缩减 271x 和 611x。该方案基于 Horvitz-Thompson 权重提供无偏估计，F1 RMSE 达到 0.00-2.58 个百分点。评测显示 7 款开源权重 LLM 加权精确率接近基线，相关数据集与代码工具已开源。
来源：arXiv 自然语言处理 · arxiv.org