arXiv 自然语言处理· Daichi Hotta, Yohei Kobashi, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo·· 4 小时前AI 评分33
循环深度在数据受限预训练中的作用与局限
Loop Before You Leap: What Recurrent Depth Can and Cannot Buy in Data-Limited Pretraining
AI 导读
在 100M-word 预算的数据受限预训练中，循环 Transformer 能有效提升纯文本表现，但无法消除多模态训练带来的语法性能下滑。在匹配推理算力下，重复 4 次的 12 层循环模型比标准 48 层 Transformer 在 BLiMP 上高出 5.4 个百分点。然而，多模态训练使两种架构的 BLiMP 准确率均下降约 3.8 个百分点，降幅主要源于语言数据及其呈现方式的变化。
来源：arXiv 自然语言处理 · arxiv.org