arXiv 自然语言处理· Mohamed Shaaban, Mohamed Elmahallawy·· 5 小时前AI 评分38
JEPA-Prune：通过联合嵌入引导剪枝缓解微调 LLM 的隐私数据泄露
Prune the Leaky Neurons: Mitigating Private Data Leakage in Fine-Tuned LLMs via Joint-Embedding-Guided Pruning
AI 导读
研究人员提出事后神经元剪枝框架 JEPA-Prune，通过联合嵌入预测架构（JEPA）训练无 PII 公共参考模型，无需重新训练即可定位并剪枝敏感神经元。实验显示，仅剪枝 1.6% 的神经元即可将 PII 推理准确率最高降低 7.4x、提取召回率最高降低 13.9x。同时，大多数 LLM 未见文本的困惑度增加被控制在未剪枝模型的 16% 以内。
来源：arXiv 自然语言处理 · arxiv.org