arXiv 机器学习· Shivesh Rane·· 10 小时前AI 评分28
用于共振序列模型的输入依赖读取相位
An Input-Dependent Readout Phase for Resonant Sequence Models
AI 导读
研究人员为共振序列模型 ResonatorLM 引入了基于当前 token 的输入依赖读取相位，在仅增加 0.2% 参数的情况下保持了精确卷积路径。在 6M 参数的 WikiText-2 字符级模型测试中，该方法在 256 tokens 训练长度并外推至 1024 tokens 时，困惑度从 12.81 降至 3.76。
来源：arXiv 机器学习 · arxiv.org