arXiv 自然语言处理· Kavinda Kehelella, Sanghamitra Dutta·· 8 小时前AI 评分34
COFFEQA：面向大语言模型问答的反事实引导少样本知识蒸馏
COFFEQA: Counterfactual-Guided Few-Shot Distillation for LLM Question Answering
AI 导读
研究团队提出开卷问答少样本蒸馏框架 COFFEQA，利用经 CFD 指标筛选的反事实样本提供额外监督，约束学生模型与教师模型的决策边界偏差。在 T5 和 Qwen2.5 模型上的 5 个域内与 3 个域外 QA 基准测试中，其效果均优于纯事实基线；例如在 32 对少样本的 T5 设定下，TriviaQA 的平均 EM 和 F1 分数分别提升 8.77 与 9.98 点。
来源：arXiv 自然语言处理 · arxiv.org