论重参数化分值函数

研究人员提出了历史重参数化（HR）策略梯度，通过将分值函数中的冻结前缀替换为可微的重参数化或松弛历史，让下游梯度能够沿生成轨迹反向传播以改善稀疏奖励下的信用分配瓶颈。针对直接引入导致的偏差，研究推导出了具有闭式最优系数的中心化控制变量估计器 OHR，用于最小化梯度方差。在离散 token 任务中，嵌入层级松弛随时间步增长展现出显著的方差缩减效果。