arXiv 自然语言处理· Shenbin Qian, David Samuel, Jind\v{r}ich Helcl, Andrey Kutuzov, Stephan Oepen·· 5 小时前AI 评分42
基础语言模型评测指南：如何选择可靠的评测设置
How to Evaluate When You Don't Know How to Evaluate? Choosing Reliable Setups for Base Language Model Benchmarking
AI 导读
一项新研究提出了一套用于指导基础大语言模型评测设置选择的框架。研究团队考察了任务形式、上下文示例数等 8 个设计维度，依据单调性、非随机性和跨检查点排序一致性 3 项准则，在 4 种语言的 80 项任务上评估了 26 个 2B 参数模型及 3 个 ≥7B 模型。结果表明使用多提示词始终有效，而任务形式等设置则取决于模型规模。
来源：arXiv 自然语言处理 · arxiv.org