arXiv 机器学习· Hanfei Liu, Shuchang Feng, Yanxia Chen, Changzeng Fu, Shiqi Zhao·· 6 小时前AI 评分33
重新审视脉冲语言模型中的时间编码与非线性计算权衡
Rethinking the Tradeoff Between Temporal Encoding and Nonlinear Computation in Spiking Language Models
AI 导读
研究人员提出 Spora 方案，通过联合设计脉冲编码与注意力算子，解决脉冲语言模型在时间编码与非线性计算之间的权衡难题。在 4 个时间步下，Spora 取得 76.6 的 GLUE 平均分与 44.1 的 CoLA MCC，分别较 SpikeLM 提升 1.2 和 6.2 分。将双极二进制脉冲（BBS）扩展至 6 个时间步后，两项评分进一步提升至 78.2 与 47.4。
来源：arXiv 机器学习 · arxiv.org