Hugging Face·· 10 天前精选AI 评分72
Hugging Face 发布 tokenizers v1 候选版，编码吞吐提速 3 至 30 倍
tokenizers v1: encode, decode and scaling, measured
AI 导读
Hugging Face 推出分词库 tokenizers v1 发布候选版，在保持输出 token ID、词表与 API 完全兼容的前提下，单线程编码速度相比 v0.23 提升 3 至 30 倍。
推荐理由
材料详细拆解了用 SIMD 位流替代正则、内存零分配合并与词缓存等工程设计，为大并发分词系统的性能调优提供了可迁移方案。
来源：Hugging Face · huggingface.co