arXiv 机器学习· Sourabh Kasliwal·· 7 小时前AI 评分35
Tiny Transformer 算术推理中的算法草稿本与分级课程设计
Algorithmic Scratchpads and Curriculum Staging for Arithmetic Reasoning in Tiny Transformers
AI 导读
一项研究在约 10.6M 非嵌入参数（总计 49.3M）的 Tiny Transformer 上，通过算法草稿本与 4 阶段分级课程将 4,000 题测试集的除法准确率从 4.0% 提升至 86.7%。实验表明 RoPE、RMSNorm、SwiGLU 与 MoE 能显著改善加法推理，但模型在未见过的 4 位数运算上准确率跌至 0.00%，且无缓冲训练会导致灾难性遗忘。
来源：arXiv 机器学习 · arxiv.org