arXiv 机器学习· Athanasios Zeris·· 6 小时前AI 评分31
FourierQK:滤波器形态、容许性与泄漏-覆盖定律
FourierQK: Filter Shape, Admissibility and the Leakage-Coverage Law
AI 导读
研究测试了 FourierQK 中带通滤波器的多项属性假设,证实抑制直流与奈奎斯特分量对注意力机制至关重要。在字符级建模实验中,以段落尺度(~70 tokens)为中心的单尺度滤波器相比 BASE-DOT 取得 +1.15 nats 增益,且零均值 Mexican Hat DOG 滤波器表现优于高斯滤波器。
来源:arXiv 机器学习 · arxiv.org