ホットトピック継続更新中
循环深度在数据受限预训练中的作用与局限研究发布
1 件の報道1 件の報道元4 時間前 更新
まずこの件を把握する
AI 概要
2026年11月5日，arXiv发表关于循环深度在数据受限预训练中作用与局限的研究。在100M-word预算下，循环Transformer能有效提升纯文本表现。在匹配推理算力时，重复4次的12层循环模型在BLiMP基准上比标准48层Transformer高出5.4个百分点。然而，该架构无法消除多模态训练造成的语法性能下滑，多模态训练使两种架构的BLiMP准确率均下降约3.8个百分点，降幅主要源于语言数据及其呈现方式的变化。
AI が報道をもとに生成 · 4 時間前 更新
最新の進展11月5日 13:00
研究显示循环Transformer能提升纯文本表现，但难阻多模态带来的语法性能下滑。報道タイムライン
報道をたどり、出来事のさまざまな側面を知る。
11月5日
- arXiv 自然语言处理循环深度在数据受限预训练中的作用与局限
在 100M-word 预算的数据受限预训练中，循环 Transformer 能有效提升纯文本表现，但无法消除多模态训练带来的语法性能下滑。在匹配推理算力下，重复 4 次的 12 层循环模型比标准 48 层 Transformer 在 BLiMP 上高出 5.4 个百分点。然而，多模态训练使两种架构的 BLiMP 准确率均下降约 3.8 个百分点，降幅主要源于语言数据及其呈现方式的变化。
このストーリーのホット度の推移
現在のホット度 9·比較可能範囲のピーク 10（11月5日 14:00）·直近24時間の比較可能な変化–
トレンドは継続して完全に観測した同じ主体のみを比較するため、現在のホット度の集計より範囲が狭い場合があります。ポインターの移動やタップで1時間ごとのホット度を確認でき、キーボードでは左右の矢印キーで切り替えられます。