用于 LLM 推理的稀疏 RL 松弛方法 SpaRLax

研究人员提出了一种面向 LLM 连续链式推理（soft CoT）的稀疏强化学习松弛方法 SpaRLax。该方法利用软推理过程跨时间步的可微性，并采用 entmax 稀疏机制自适应调节软化程度，从而在确定步骤截断长尾噪声、在不确定步骤保留多个候选可能。在 9 个推理基准测试中，SpaRLax 取得了相比基线方法的最高平均性能。