研究揭示分层语言模型无需微调温度即可呈现幂律关联

1. 12:00
   arXiv 机器学习

   定树分层语言中无需温度微调临界性的幂律关联研究

   研究人员通过定树有限深度概率上下文无关文法与置信传播，构建了自回归采样中温度影响的可控模型。测试显示 token 间的两点互信息在不同温度下始终保持幂律包络，温度仅改变关联强度与拟合指数，未出现有序相的长距离平台或短程指数衰减。研究通过树上 Ising 模型映射，证实仅凭分层结构即可让树距离上的指数衰减转化为 token 距离上的幂律关联。

当前热度 9·可比范围峰值 9（10月20日 14:00）·近 24 小时可比范围变化 –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。