学者研究Transformer在非马尔可夫数据下的预测理论

1. 13:00
   arXiv 机器学习

   Transformer 何时能在非马尔可夫数据上实现接近无损的 token 预测？

   研究从随机最优控制视角证明，经过理论最优训练的 Transformer 在平稳遍历或满足滤波器稳定性的隐马尔可夫等非马尔可夫数据上，随着上下文长度增加可实现接近无损的 token 预测。对于平稳遍历数据源，预测误差受熵差约束；对于 N 阶马尔可夫源，误差随窗口长度 M 呈指数衰减。团队构建了深度为 M+1、每层单头的 Transformer 架构，并完成了数值实验验证。

Current heat 9·Comparable peak 10（Nov 2 14:00）·Comparable change, last 24 hours–

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.