神经期望最大化与元模型

研究者将 Transformer 架构解释为结合最大积环路置信传播（LBP）与期望最大化（EM）的混合概率推理近似过程。自注意力机制实现了在动态结构化马尔可夫随机场上的可微最大积 LBP 近似，各层间传递则对应隐式 M 步。基于此视角提出的元模型（meta-models）设计范式，将自注意力、MoE 与门控单元统一在由输入生成实例特定参数的单一框架中。