热点事件持续更新
罕见病诊断事后引导推理蒸馏研究获进展
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
一项针对 ZebraMap 罕见病诊断的研究探索了事后引导理由蒸馏方法,使用 1.5B 学生模型微调学习可观测真实标签的 8B 教师模型的思维链轨迹。实验发现,教师模型会出现将真实标签嵌入推理链的幻觉现象,导致未过滤的学生模型在推理时产生 33.9% 的复现率,进而拉低诊断准确率。研究团队采用正则过滤消除污染后,过滤版学生模型(StudentF)在统计学上显著超越了教师模型(p < 0.001)。
AI 根据报道生成 · 2 小时前更新
最新进展10月5日 12:00
研究发现经正则过滤消除标签污染后,1.5B学生模型表现显著超越8B教师模型。报道时间线
沿着报道,了解事件的不同侧面。
10月5日
- arXiv 自然语言处理面向罕见病诊断的事后引导理由蒸馏研究
一项针对 ZebraMap 罕见病诊断的研究探讨了事后引导蒸馏,使用 1.5B 学生模型微调学习能观测真实标签的 8B 教师模型的思维链轨迹。实验发现教师会产生将真实标签嵌入推理链的幻觉现象,导致未过滤学生在推理时复现率达 33.9% 并降低准确率。采用正则过滤消除污染后,过滤版学生模型(StudentF)在统计学上显著超越教师模型(p < 0.001)。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。