arXiv 人工智能· Erfan Baghaei Potraghloo, Saeid Shokoufa, Seyedarmin Azizi, Arya Fayyazi, Souvik Kundu, Mehdi Kamal, Massoud Pedram·· 4 小时前AI 评分45
SafeStart：缓解 MoE 大语言模型推理服务中主动减少专家的安全代价
SafeStart: Mitigating the Overlooked Safety Cost of Active Expert Reduction in MoE LLM Serving
AI 导读
针对 MoE 大语言模型通过减少激活专家加速推理导致有害请求拒绝能力下降的问题，研究团队提出 SafeStart 方案。SafeStart 在处理 prompt 及生成前 8 个 token 时调用全部专家，随后阶段再削减专家。在 vLLM 测试中，该方案保留了至少 85% 的离线解码加速效果，并将越狱下的有害遵从率变动控制在 -2.1 至 +1.3 个百分点。
来源：arXiv 人工智能 · arxiv.org