跳到正文
原文
arXiv 机器学习· Athanasios Zeris·· 6 小时前AI 评分31

FourierQK:滤波器形态、容许性与泄漏-覆盖定律

FourierQK: Filter Shape, Admissibility and the Leakage-Coverage Law

AI 导读

研究测试了 FourierQK 中带通滤波器的多项属性假设,证实抑制直流与奈奎斯特分量对注意力机制至关重要。在字符级建模实验中,以段落尺度(~70 tokens)为中心的单尺度滤波器相比 BASE-DOT 取得 +1.15 nats 增益,且零均值 Mexican Hat DOG 滤波器表现优于高斯滤波器。

来源:arXiv 机器学习 · arxiv.org