arXiv 机器学习· Michal Podstawski·· 16 小时前AI 评分36
审计模型中心基准 HuggingBench：数据质量、训练预算与辅助信息
Auditing a Model-Hub Benchmark: Data Quality, Training Budgets, and Side Information in HuggingBench
AI 导读
研究对 Hugging Face 资源推荐基准 HuggingBench 展开审计，发现其 4 个外部知识图谱中有 3 个违反实体标识约束。修正对齐后，所有基于知识图谱的方法平均 Recall@10 最高提升 73%，且 100-epoch 训练预算普遍存在过早截断。结合未被利用的项目文本构建线性模型，在 CPU 上仅需数分钟即可将 Recall@10 超出原最佳基线 18%。
来源：arXiv 机器学习 · arxiv.org