研究表明语言模型可受益于领域特定归纳偏置

2026年11月4日，arXiv发布的一项机器学习研究指出，语言模型能够受益于特定领域的归纳偏置。研究人员通过将 Transformer 的标准激活函数替换为在特定数据集上调优的学习样条（learned splines），对模型的归纳偏置进行了调整。实验结果显示，该方法在全部 7 个测试数据集上均提升了小型语言模型的训练效率或泛化能力。此外，测试表明这些性能提升具有领域特异性，例如针对 FineWeb 调优的架构在 TinyStories 数据集上表现良好，而专门针对数学调优的架构在自然语言任务上的表现则较差。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。