Large Language Bayes 并不具备重参数化不变性

研究表明 Large Language Bayes（LLB）的加权机制依赖模型代码编写形式，因其证据下界不具备重参数化不变性。在 eight schools 任务中同等测度程序的权重差异可达 6.1 倍，跨维度和似然族差异最高达 31.9 倍并导致贝叶斯因子反转。测试来自 6 个大语言模型的 360 个程序发现，中心化参数化比例在 0% 至 100% 之间波动。