论文揭示分词器评估三大迷思与三难困境

研究指出分词器领域存在三大评估迷思，并提出不存在完美分词器评估指标的三难困境。实验表明，每字节比特数（BPB）并非与分词器或词表大小无关，且其在真实训练模型中与下游任务表现弱相关；此前被视作无偏的 unigram-normalized loss 在消除混杂因素后，与 BPB 的相关性从 0.989 降至 0.057。