超越 On-Policy 与 Off-Policy：LLM 智能体知识蒸馏应在哪个层级跟随学生？

研究提出分层 LLM 智能体知识蒸馏框架，将策略选择解耦为交互历史与当前动作 token 前缀两个层级。在 3 个模型与 4 个交互环境的测试表明，学生诱导的历史搭配教师生成的动作前缀能提供最强的单一训练信号，而两层级完全跟随学生表现最差。前期优先使用教师生成上下文并在后期引入完全 on-policy 数据的训练调度显著优于静态混合。