不同分词器丰富度语言间的概念方向可靠性研究

一项新研究评估了 4 个语言模型在英语、豪萨语和约鲁巴语中的概念方向可靠性，末 token 折半一致性在英语为 0.737-0.870、豪萨语为 0.589-0.762、约鲁巴语为 0.101-0.399，在全部 77 项模型对比中均保持该排序。结果表明下游分类预测准确率并不代表向量方向的一致性，且数据未证实分词器丰富度是导致跨语言差异的直接原因。