热点事件持续更新
研究揭示并修复开源LLM尼泊尔语分词瓶颈
1 篇报道1 个报道来源5 小时前更新
先了解这件事
AI 综述
2026年10月27日，arXiv发表的一项自然语言处理研究指出，Llama-3和Qwen3等开源大模型的预分词正则表达式会拆分结合符，导致尼泊尔语的token消耗达到英语的2.6至5.8倍，且传统词表扩充方案对此失效。为此，研究者提出了一种保留原有token ID的正则修复方案，并结合32,000个新合并规则，成功使尼泊尔语token消耗减少约54%。目前，该方案已在Llama-3.2-1B和Qwen3-0.6B的继续预训练实验中完成测试，相关代码与分词器也已开源。
AI 根据报道生成 · 5 小时前更新
最新进展10月27日 12:00
研究者提出正则修复方案使尼泊尔语token消耗减少约54%，相关代码与分词器已开源。报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- arXiv 自然语言处理基于合并的词表扩充受阻于预分词器：保留英语的尼泊尔语修复方案与继续预训练测试
Llama-3 和 Qwen3 等模型的预分词正则会拆分结合符，致使尼泊尔语 token 消耗达英语的 2.6 至 5.8 倍且传统词表扩充无法解决。研究者提出保留原有 token ID 的正则修复方案，结合 32,000 个新合并使尼泊尔语 token 减少约 54%。该方案在 Llama-3.2-1B 和 Qwen3-0.6B 继续预训练中完成测试，相关代码与分词器已开源。
本事件热度走势
当前热度 9·可比范围峰值 10（10月27日 13:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。