arXiv 自然语言处理· Anna Pramod·2026-10-20 12:00· 3 小时前AI 评分48

以英文衡量的效率：分词器覆盖率限制了小语言模型在印度文字上的表现

Efficiency Measured in English: Tokeniser Coverage Bounds Small Language Models on Indic Scripts

AI 导读

研究指出以英文衡量的端侧小语言模型效率无法直接迁移至印度文字，核心瓶颈在于分词器词表覆盖率而非模型参数量。