arXiv 机器学习· Forough Shirin Abkenar, Haoshuo Fu, Liang Feng, Ning Yan, Masood S. Mortazavi·· 8 小时前AI 评分34
追踪大语言模型语言习得中的形态、语义与发散特征
Tracing Morphology, Semantics, and Divergence in Language Acquisition
AI 导读
一项新研究利用 Pythia 和 OLMo 等开源模型的中间检查点，在 teacher-forcing 评测下系统探究了大语言模型在不同训练步数与规模下的语言习得动态。研究发现模型在语义嵌入向量稳定之前就已习得形态结构，且训练数据集规模能正向促进发散识别。此外，预训练中的共现与推理阶段的重复会对发散识别及联想链接生成产生负面影响。
来源：arXiv 机器学习 · arxiv.org