研究提出两阶段平行数据多语言预训练方法

2026年10月22日，arXiv发表关于将平行数据用于多语言预训练的研究。针对单独采用平行预训练（PPT）因上下文与单语言输入不匹配而难以稳定提升语言理解的问题，研究提出了一种两阶段预训练方法。该方法首先通过拼接原文与译文的平行预训练建立跨语言基础，随后通过标准预训练（SPT）适配标准语言建模。在匹配的token预算下，该两阶段方法在高资源和低资源设定中，均持续提升了模型的通用语言理解与跨语言任务表现。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。