研究揭示微调MoE大模型结构记忆漏洞并提出检测方案

1. 13:00
   arXiv 机器学习

   微调 MoE 大语言模型中可恢复专家利用特征的表征分析

   微调后的 MoE 大语言模型存在结构化记忆漏洞，不仅会记忆训练数据，还会记住处理数据时独特的专家路由指纹。攻击者仅凭路由和输出 logits 即可隐蔽恢复被记忆的专家路径，绕过传统成员推断指标并实施后门注入等攻击。针对该风险，研究提出结合参考模型尾部似然与复杂度感知归一化的复合指标，显著提升了对此类结构的检测能力。

Current heat 9·Comparable peak 10（Nov 2 14:00）·Comparable change, last 24 hours–

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.