arXiv 自然语言处理· Esther Xin·· 10 小时前AI 评分45
我们该删除什么?评估 RLVR 数据去污染的可靠性与成本
What Should We Remove? Evaluating the Reliability and Costs of RLVR Data Decontamination
AI 导读
研究团队对包含 1,673,514 个条目的 16 个开源 RLVR 数学语料库展开审计,评估了 8 种数据去污染策略。测试显示在 0.80 余弦阈值下,88%(52/59)的抽样删除被证实为误删,预设语义阈值均未达标。评审裁决策略在保留集上实现了 98.1% 的精确率与 98.2% 的候选召回率,相关标注与数据已开源。
来源:arXiv 自然语言处理 · arxiv.org