Token 边界的代价：压缩凭证与预测

研究量化了预分词边界的压缩代价，发现边界规则使英文维基百科的最优 token 数量增加 28.3%–36.8%。在 85M 非嵌入参数模型评测中，压缩与预测倾向不同词表，无限制拟合在 12 种测试语言中均导致预测质量下降。研究提出的边界许可机制仅放开 10% 词表预算跨界，即在英文和中文语料分别挽回 85.2% 与 100.0% 的 token 缩减收益。