Hugging Face·· 2026-09-21厳選AI スコア72
Hugging Face 发布 tokenizers v1 候选版，编码吞吐提速 3 至 30 倍
tokenizers v1: encode, decode and scaling, measured
未翻訳のため中国語で表示しています。
AI ガイド
Hugging Face 推出分词库 tokenizers v1 发布候选版，在保持输出 token ID、词表与 API 完全兼容的前提下，单线程编码速度相比 v0.23 提升 3 至 30 倍。
推薦理由
材料详细拆解了用 SIMD 位流替代正则、内存零分配合并与词缓存等工程设计，为大并发分词系统的性能调优提供了可迁移方案。
出典：Hugging Face · huggingface.co