研究揭示蒸馏大语言模型后门选择性机制

1. 13:00
   arXiv 人工智能

   继承还是习得？蒸馏大语言模型中的后门选择性研究

   蒸馏大语言模型的后门多数并非继承自教师模型，而是学生模型直接从投毒数据中习得。在覆盖 Qwen2.5、Llama 3.2 与 Gemma 3 的 9 个师生管线中，Llama 和 Gemma 仅凭 150 个投毒样本即可学得后门，仅 Qwen 0.5B 学生模型依赖教师传递。测试表明后门触发位置主要由数据决定，安全审计应探测多个触发位置并包含无教师对照组。

Current heat 5·Comparable peak 9（Nov 3 18:00）·Comparable change, last 24 hours–

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.