arXiv 机器学习· Johnny Yu, Cyril Gorlla·· 6 小时前AI 评分35
提示信息有多重要？金融推理中事后自蒸馏的适用条件
How Much Does the Hint Matter? Scope Conditions for Hindsight Self-Distillation in Financial Reasoning
AI 导读
研究提出用于多步金融推理的自蒸馏方法 Fin-SD，无需外部模型参与，由模型自行定位首个错误推理并截断蒸馏。在 GPT-OSS-20B 上，该方法在 FinanceReasoning Hard 子集提升 3.03 pp 准确率，且增益来自监督位置而非提示内容。其准确率匹敌全解自蒸馏并减少 9.5% token 生成，在 MMLU-Pro 和 FinTrust 审计中无明显退化。
来源：arXiv 机器学习 · arxiv.org