研究揭示小语言模型在印度语系表现受限于分词器覆盖率

2026年10月20日，arXiv自然语言处理领域发布题为《以英文衡量的效率：分词器覆盖率限制了小语言模型在印度文字上的表现》的研究。该项研究指出，以往以英文标准衡量并表现优越的端侧小语言模型效率，并不能直接迁移至印度文字场景中。研究进一步揭示，导致小语言模型在处理印度文字时性能与表现受限的核心瓶颈，主要在于分词器的词表覆盖率，而非以往通常认为的模型参数量限制，为多语言小模型在印度语系的应用优化提供了依据。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。