研究人员提出SafeStart缓解MoE推理加速导致的安全弱化问题
Start here
针对MoE大语言模型通过主动减少激活专家来加速推理、却会导致对有害请求拒绝能力下降的问题，研究团队提出了名为SafeStart的解决方案。SafeStart方案在处理提示词及生成前8个token时调用全部专家，在随后的生成阶段再削减专家数量。在vLLM框架测试中，该方案保留了至少85%的离线解码加速效果，并将越狱攻击下的有害遵从率变动控制在-2.1至+1.3个百分点之间，有效缓解了推理加速带来的安全代价。
AI-generated from reports · Updated 6 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 人工智能SafeStart：缓解 MoE 大语言模型推理服务中主动减少专家的安全代价
针对 MoE 大语言模型通过减少激活专家加速推理导致有害请求拒绝能力下降的问题，研究团队提出 SafeStart 方案。SafeStart 在处理 prompt 及生成前 8 个 token 时调用全部专家，随后阶段再削减专家。在 vLLM 测试中，该方案保留了至少 85% 的离线解码加速效果，并将越狱下的有害遵从率变动控制在 -2.1 至 +1.3 个百分点。
Story heat trend
Current heat 9·Comparable peak 10（Nov 5 14:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.