韵律结构是 BabyLM 规模音素语言建模的关键要素

研究表明韵律结构是小数据 BabyLM 规模音素语言建模的关键要素。研究人员在 10M 和 100M 词规模下将各条件训练为 BERT MLM，并在词汇决定与语义组织任务上对比正字法基线及不同音位丰富度条件。带有韵律标注的音素流在两个数据规模上均展现出最强的分类组织能力，具边界结构的音素模型表现可媲美正字法基线。