循环深度在数据受限预训练中的作用与局限研究发布

1. 13:00
   arXiv 自然语言处理

   循环深度在数据受限预训练中的作用与局限

   在 100M-word 预算的数据受限预训练中，循环 Transformer 能有效提升纯文本表现，但无法消除多模态训练带来的语法性能下滑。在匹配推理算力下，重复 4 次的 12 层循环模型比标准 48 层 Transformer 在 BLiMP 上高出 5.4 个百分点。然而，多模态训练使两种架构的 BLiMP 准确率均下降约 3.8 个百分点，降幅主要源于语言数据及其呈现方式的变化。

Current heat 8·Comparable peak 10（Nov 5 14:00）·Comparable change, last 24 hours–

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.