arXiv 机器学习· Ka\u{g}an Akman, Jake Feldman Starosta, Naci Saldi, Serdar Y\"uksel·· 3 小时前AI 评分36
Transformer 何时能在非马尔可夫数据上实现接近无损的 token 预测？
When can Optimally Trained Transformers Achieve Near-Lossless Token Prediction for non-Markovian Data?
AI 导读
研究从随机最优控制视角证明，经过理论最优训练的 Transformer 在平稳遍历或满足滤波器稳定性的隐马尔可夫等非马尔可夫数据上，随着上下文长度增加可实现接近无损的 token 预测。对于平稳遍历数据源，预测误差受熵差约束；对于 N 阶马尔可夫源，误差随窗口长度 M 呈指数衰减。团队构建了深度为 M+1、每层单头的 Transformer 架构，并完成了数值实验验证。
来源：arXiv 机器学习 · arxiv.org