单头注意力长度泛化位置可实现性理论发布
Start here
2026年11月2日，arXiv机器学习领域发表的一项研究提出了针对纯位置单头注意力机制的位置可实现性理论，旨在解释长度泛化对位置编码（PE）的强依赖机理。该理论引入了模拟转移算子以及无需训练即可计算的标量指标 αL ∈ [0,1]，用于精确推导相对与绝对位置方案的泛化及失效边界。在涵盖2625次模型训练测量的实验中（词表大小64、维度128），αL准确划分了各位置编码与任务组合下的泛化与非泛化状态。
AI-generated from reports · Updated 6 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 机器学习单头注意力长度泛化的位置可实现性理论
研究提出了针对纯位置单头注意力机制的可实现性理论，解释了长度泛化对位置编码（PE）的强依赖机理。该理论引入模拟转移算子与无需训练即可计算的标量指标 $\alpha_L \in [0,1]$，精确推导出相对与绝对位置方案的泛化及失效边界。在涵盖 2625 次模型训练测量的实验中（vocab 64/d=128 下保持稳定），$\alpha_L$ 准确划分了各 PE 与任务组合下的泛化与非泛化状态。
Story heat trend
Current heat 8·Comparable peak 10（Nov 2 14:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.