arXiv 自然语言处理· Steven Y. Feng, Michael C. Frank·· 5 小时前AI 评分34
儿童规模语言模型中的特化、多样性与扩展
Specialization, Diversity, and Scaling in Child-Scale Language Models
AI 导读
研究基于儿童家庭录音 BabyView 与合成对话 TinyDialogues 训练小型 GPT-2 模型，发现模型对单一儿童语言环境具有显著特化预测能力。该特化主要源自词汇与分布，简单 5-gram 模型即可复现该跨儿童模式（r=.91）。多儿童数据训练能提升汇总语言预测但未显著改善语法基准，表明小数据学习高度取决于语境与任务的匹配度。
来源：arXiv 自然语言处理 · arxiv.org