ホットトピック継続更新中
学者研究Transformer在非马尔可夫数据下的预测理论
1 件の報道1 件の報道元3 時間前 更新
まずこの件を把握する
AI 概要
2026年11月2日，相关学者在arXiv发表论文，从随机最优控制视角探讨Transformer何时能在非马尔可夫数据上实现接近无损的token预测。研究证明，经过理论最优训练的Transformer在平稳遍历数据源或满足滤波器稳定性的隐马尔可夫数据等非马尔可夫数据上，随着上下文长度增加可实现接近无损的token预测。其中，对于平稳遍历数据源，预测误差受熵差约束；对于N阶马尔可夫源，误差随窗口长度M呈指数衰减。研究团队据此构建了深度为M+1、每层单头的Transformer架构，并完成了数值实验验证。
AI が報道をもとに生成 · 3 時間前 更新
最新の進展11月2日 13:00
学者从随机最优控制视角证明Transformer在特定非马尔可夫数据上可接近无损预测并完成实验验证。報道タイムライン
報道をたどり、出来事のさまざまな側面を知る。
11月2日
- arXiv 机器学习Transformer 何时能在非马尔可夫数据上实现接近无损的 token 预测？
研究从随机最优控制视角证明，经过理论最优训练的 Transformer 在平稳遍历或满足滤波器稳定性的隐马尔可夫等非马尔可夫数据上，随着上下文长度增加可实现接近无损的 token 预测。对于平稳遍历数据源，预测误差受熵差约束；对于 N 阶马尔可夫源，误差随窗口长度 M 呈指数衰减。团队构建了深度为 M+1、每层单头的 Transformer 架构，并完成了数值实验验证。
このストーリーのホット度の推移
現在のホット度 9·比較可能範囲のピーク 10（11月2日 14:00）·直近24時間の比較可能な変化–
トレンドは継続して完全に観測した同じ主体のみを比較するため、現在のホット度の集計より範囲が狭い場合があります。ポインターの移動やタップで1時間ごとのホット度を確認でき、キーボードでは左右の矢印キーで切り替えられます。