Tokka-Bench：跨 100 种自然语言与 20 种编程语言评估分词器

开源评测框架 Tokka-Bench 通过 5 项互补指标，对覆盖 100 种自然语言与 20 种编程语言的分词器展开评估。评测对比了 GPT-4、Llama 3.1、Qwen3、Kimi K2 等 7 款 BPE 分词器，发现词表分配策略比词表大小更关键，且近期分词器的编程语言效率已趋向一致。目前 Tokka-Bench 框架、数据和交互看板已公开发布。