arXiv 自然语言处理· Zhihong Huang, Yao Lu, Derek F. Wong, Hamid Alinejad-Rokny, Min Yang·· 3 小时前AI 评分35
如何将平行数据用于多语言预训练
How to Use Parallel Data for Multilingual Pretraining
AI 导读
研究提出一种利用平行数据改进多语言预训练的两阶段方法，先通过拼接原文与译文的平行预训练（PPT）建立跨语言基础，再通过标准预训练（SPT）适配标准语言建模。该设计解决了单独使用 PPT 因上下文与单语言输入不匹配而无法稳定提升语言理解的问题。在匹配的 token 预算下，两阶段方法在高资源和低资源设定中均持续提升了通用语言理解与跨语言任务表现。
来源：arXiv 自然语言处理 · arxiv.org