arXiv 自然语言处理· Vinko Sabol\v{c}ec, Bettina Messmer, Yassine Turki, Martin Jaggi·· 4 小时前AI 评分35
适配英文质量分类器以用于多语言 LLM 预训练数据筛选
Adapting English Quality Classifiers for Multilingual LLM Pretraining Data Selection
AI 导读
研究提出一种将英文质量分类器适配至 100 多种语言的方法，通过在 Transformer 编码器嵌入向量上训练小型 MLP，用于多语言 LLM 预训练数据筛选。该方案以机翻文本的英文分类器得分为标签，在 1B、3B 和 8B 规模实验中保持了下游基准表现，且未损伤区域与文化知识基准。评估表明该分类器具备跨语言泛化能力，对训练集未包含的语言同样有效。
来源：arXiv 自然语言处理 · arxiv.org