目标 token 不对称性或被误判为大语言模型的层级深度专精

研究指出层消融实验中观察到的跨语料库层级深度专精现象，可能只是目标 token 类型分布差异造成的假象。在 GSM8K 与 Wikitext 的对比中，完全分解的 3 个模型中仅空格 token 表现出正向交互作用，剔除空格后 3 个模型的汇总效应均发生逆转，匹配完整目标混合分布后也有 2 个模型发生逆转。