Hugging Face·· 2026-09-21SelectedAI score72
Hugging Face 发布 tokenizers v1 候选版，编码吞吐提速 3 至 30 倍
tokenizers v1: encode, decode and scaling, measured
Not yet translated; shown in Chinese.
AI guide
Hugging Face 推出分词库 tokenizers v1 发布候选版，在保持输出 token ID、词表与 API 完全兼容的前提下，单线程编码速度相比 v0.23 提升 3 至 30 倍。
Why it matters
材料详细拆解了用 SIMD 位流替代正则、内存零分配合并与词缓存等工程设计，为大并发分词系统的性能调优提供了可迁移方案。
Source:Hugging Face · huggingface.co