arXiv 机器学习· Damien Teney, Liangze Jiang, Zachary Shinnick, Hemanth Saratchandran, Simon Lucey·· 8 時間前AI スコア38
语言模型可受益于特定领域的归纳偏置
Language Models Can Benefit from Domain-Specific Inductive Biases
未翻訳のため中国語で表示しています。
AI ガイド
研究人员通过将 Transformer 的标准激活函数替换为在特定数据集上调优的学习样条（learned splines）来修改归纳偏置，在全部 7 个测试数据集上均提升了小型语言模型的训练效率或泛化能力。实验表明这些增益具有领域特异性，例如针对 FineWeb 调优的架构在 TinyStories 上表现良好，而针对数学调优的架构在自然语言上表现较差。
出典：arXiv 机器学习 · arxiv.org