跳到正文
原文
arXiv 机器学习· Marcel K\"uhn, Bernd Rosenow·· 6 小时前AI 评分30

定树分层语言中无需温度微调临界性的幂律关联研究

Power-Law Correlations Without Apparent Temperature-Tuned Criticality in Fixed-Tree Hierarchical Languages

AI 导读

研究人员通过定树有限深度概率上下文无关文法与置信传播,构建了自回归采样中温度影响的可控模型。测试显示 token 间的两点互信息在不同温度下始终保持幂律包络,温度仅改变关联强度与拟合指数,未出现有序相的长距离平台或短程指数衰减。研究通过树上 Ising 模型映射,证实仅凭分层结构即可让树距离上的指数衰减转化为 token 距离上的幂律关联。

来源:arXiv 机器学习 · arxiv.org