arXiv 自然语言处理· Aarav Singh, Animesh Pathak, Navyansh Singh·· 3 小时前AI 评分33
面向罕见病诊断的事后引导理由蒸馏研究
Hindsight-Guided Rationale Distillation for Rare Disease Diagnosis
AI 导读
一项针对 ZebraMap 罕见病诊断的研究探讨了事后引导蒸馏，使用 1.5B 学生模型微调学习能观测真实标签的 8B 教师模型的思维链轨迹。实验发现教师会产生将真实标签嵌入推理链的幻觉现象，导致未过滤学生在推理时复现率达 33.9% 并降低准确率。采用正则过滤消除污染后，过滤版学生模型（StudentF）在统计学上显著超越教师模型（p < 0.001）。
来源：arXiv 自然语言处理 · arxiv.org