arXiv 机器学习· Alasdair Paren·· 10 小时前AI 评分35
有时少即是多：探究 MLP 与 Transformer 在含噪声 k-parity 特征下的归纳偏置
Sometimes less is more: Investigating inductive biases of MLPs and Transformers on noisy k-parity features
AI 导读
一项针对含噪声 k-parity 特征的研究显示，Transformer 对噪声特征更具鲁棒性但难以学习低可用性的复杂特征，MLP 则相反且随数据量增加稳步提升。在固定训练预算下，增加唯一样本量会减慢 Transformer 优化速度并降低最终准确率，导致小数据集表现更好。该优化速度效应在预算随数据规模扩大时有所减弱，但并未完全消失。
来源：arXiv 机器学习 · arxiv.org