通过连续流语言模型反向传播验证器奖励

研究者提出了一种针对连续流语言模型的 RL 后训练框架，通过在连续动作中反向传播路径梯度来优化推理能力。该方法引入了一个 critic 来评估中间 token 嵌入的价值，从而绕过不可微的离散解码步骤，并从每个 token 表示中预测价值以跟踪策略变化。实验显示，该框架在四项推理任务中稳定提升了连续流语言模型的表现，优于同类基线方法。