arXiv 自然语言处理· Zhongping Ji·· 5 小时前AI 评分33
HySPE：基于辛对偶剪切的位置编码方法
HySPE: Positional Encoding via Symplectic Dual Shears
AI 导读
研究提出双曲辛位置编码 HySPE，通过对偶剪切阻尼复合实现位置注意力构建，在 RTX 4090 上前向延迟达 7.21 ms 且与带缓存的 RoPE 相当。在 TinyShakespeare 的 16 倍零样本外推测试中，HySPE-UltraLong 困惑度保持在 4.810，显著优于 RoPE 的 131.198。
来源：arXiv 自然语言处理 · arxiv.org