arXiv 自然语言处理· Houssam Eddine Boukhalfa, Mourad Bouache, Mourad Dahmane·· 8 小时前AI 评分35
AQL-Lite：通过以数据为中心且兼顾参数效率的持续预训练提升阿拉伯语大语言模型能力
AQL-Lite: Enabling Efficient Knowledge Acquisition for Arabic LLMs via Data-Centric Continual Pretraining
AI 导读
研究人员提出 AQL-Lite 框架，结合高质量现代标准阿拉伯语（MSA）数据清洗流程与部分参数持续预训练（CPT）方案，实现多语言大语言模型的高效适配。在 5B-token 评测中，AQL-Lite 仅消耗 52% 的实际训练时间即可取得全参数 CPT 94% 的性能提升（均分 73.19 对比 73.58）。
来源：arXiv 自然语言处理 · arxiv.org