热点事件持续更新
学者研究Transformer在非马尔可夫数据下的预测理论
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年11月2日，相关学者在arXiv发表论文，从随机最优控制视角探讨Transformer何时能在非马尔可夫数据上实现接近无损的token预测。研究证明，经过理论最优训练的Transformer在平稳遍历数据源或满足滤波器稳定性的隐马尔可夫数据等非马尔可夫数据上，随着上下文长度增加可实现接近无损的token预测。其中，对于平稳遍历数据源，预测误差受熵差约束；对于N阶马尔可夫源，误差随窗口长度M呈指数衰减。研究团队据此构建了深度为M+1、每层单头的Transformer架构，并完成了数值实验验证。
AI 根据报道生成 · 2 小时前更新
最新进展11月2日 13:00
学者从随机最优控制视角证明Transformer在特定非马尔可夫数据上可接近无损预测并完成实验验证。报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- arXiv 机器学习Transformer 何时能在非马尔可夫数据上实现接近无损的 token 预测？
研究从随机最优控制视角证明，经过理论最优训练的 Transformer 在平稳遍历或满足滤波器稳定性的隐马尔可夫等非马尔可夫数据上，随着上下文长度增加可实现接近无损的 token 预测。对于平稳遍历数据源，预测误差受熵差约束；对于 N 阶马尔可夫源，误差随窗口长度 M 呈指数衰减。团队构建了深度为 M+1、每层单头的 Transformer 架构，并完成了数值实验验证。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。