arXiv 自然语言处理· Aarjan Chaudhary (Naamche Labs)·· 6 小时前AI 评分34
基于合并的词表扩充受阻于预分词器：保留英语的尼泊尔语修复方案与继续预训练测试
Merge-Based Vocabulary Extension Stalls at the Pre-Tokenizer: An English-Preserving Repair for Nepali, Tested in Continued Pretraining
AI 导读
Llama-3 和 Qwen3 等模型的预分词正则会拆分结合符，致使尼泊尔语 token 消耗达英语的 2.6 至 5.8 倍且传统词表扩充无法解决。研究者提出保留原有 token ID 的正则修复方案，结合 32,000 个新合并使尼泊尔语 token 减少约 54%。该方案在 Llama-3.2-1B 和 Qwen3-0.6B 继续预训练中完成测试，相关代码与分词器已开源。
来源：arXiv 自然语言处理 · arxiv.org