arXiv 机器学习· Jiasong Han, Yunkai Chai, Jintao Wang·· 6 時間前AI スコア33
单头注意力长度泛化的位置可实现性理论
A Positional Realizability Theory of Length Generalization in Single-Head Attention
未翻訳のため中国語で表示しています。
AI ガイド
研究提出了针对纯位置单头注意力机制的可实现性理论，解释了长度泛化对位置编码（PE）的强依赖机理。该理论引入模拟转移算子与无需训练即可计算的标量指标 $\alpha_L \in [0,1]$，精确推导出相对与绝对位置方案的泛化及失效边界。在涵盖 2625 次模型训练测量的实验中（vocab 64/d=128 下保持稳定），$\alpha_L$ 准确划分了各 PE 与任务组合下的泛化与非泛化状态。
出典：arXiv 机器学习 · arxiv.org