arXiv 机器学习· Fei Wang, Baochun Li, Bo Li·· 12 時間前AI スコア44
微调 MoE 大语言模型中可恢复专家利用特征的表征分析
Characterizing Recoverable Expert-Utilization Signatures in Fine-Tuned Mixture-of-Experts LLMs
未翻訳のため中国語で表示しています。
AI ガイド
微调后的 MoE 大语言模型存在结构化记忆漏洞，不仅会记忆训练数据，还会记住处理数据时独特的专家路由指纹。攻击者仅凭路由和输出 logits 即可隐蔽恢复被记忆的专家路径，绕过传统成员推断指标并实施后门注入等攻击。针对该风险，研究提出结合参考模型尾部似然与复杂度感知归一化的复合指标，显著提升了对此类结构的检测能力。
出典：arXiv 机器学习 · arxiv.org