arXiv 机器学习· Yu Li, Yufa Zhou, Tian Lan·· 8 時間前AI スコア41
LLM 强化学习中训练-推理不匹配的成因与演化分析
On the Origin and Evolution of Training-Inference Mismatch in LLM Reinforcement Learning
未翻訳のため中国語で表示しています。
AI ガイド
一项新研究分析了 LLM 强化学习中推理引擎数值差异与异步采样策略滞后导致的训练-推理不匹配问题，并提出差异-滞后校正（DLC）方法。该方法通过中心化数值差异、截断滞后比率，并在有效样本量降至 1/2 以下时重新同步采样器以切断误差反馈。在 Qwen3-0.6B 和 Qwen3-1.7B 实验中，DLC 在陈旧采样器下将 KL 散度控制在基准的 2 倍以内，有效防止了训练崩溃。
出典：arXiv 机器学习 · arxiv.org