arXiv 自然语言处理· Yuxuan Gu, Kequan Niu, Xiaocheng Feng, Yun Li, Yiqiao Yang, Bing Qin·· 5 小时前AI 评分33
SFT 该学什么？基于条件信息增益的可泛化后训练方法 CIG-SFT
What Should SFT Learn? Conditional Information Gain for Generalizable Post-Training
AI 导读
研究人员提出基于信息论的后训练框架 CIG-SFT，通过比较冻结参考模型在有无任务输入下的 token 似然度来计算条件信息增益，量化任务本身消除的不确定性。该方法将此信息转化为标量加权的 SFT 目标，无需额外训练数据或在线采样。在数学推理与代码生成基准上，CIG-SFT 表现持续优于标准 SFT 及动态微调基线。
来源：arXiv 自然语言处理 · arxiv.org