arXiv 机器学习· Gavin Dooley, Andy Yang, Yijia Jessica Zhu, David Chiang, Peter Cholak, Anand Pillay·2026-09-29 12:00· 2 天前AI 评分34

实值 Transformer 的 VC 维与表达能力

VC Dimension and Expressivity of Real-Valued Transformers

AI 导读

一项理论研究给出了实数域多层 softmax-attention Transformer 的 VC 维与 split VC 维界限，证明其上界分别为 $O(n^4)$ 和 $O(n^6)$（$n$ 为输入长度），下界均为 $\Omega(n)$。

来源：arXiv 机器学习 · arxiv.org