研究团队提出大推理模型安全对齐方法SAVeR2
Start here
2026年11月6日,研究人员在arXiv发布研究,提出大型推理模型安全对齐方法SAVeR²。该方法旨在通过可验证奖励解决显式思维链(CoT)推理过程中的安全风险,并消除模型对齐伴随的“安全税”。技术方案上,SAVeR²将安全目标分解为4个细粒度可验证奖励信号,并引入梯度投影机制以化解安全梯度与推理梯度的冲突。在覆盖1.5B至671B参数规模模型的实验结果显示,该方法在多个基准测试中显著降低了过度拒绝率,且未对模型的通用推理能力造成损害。
AI-generated from reports · Updated 6 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 人工智能SAVeR$^2$:基于可验证奖励的大型推理模型安全对齐方法
研究人员提出大型推理模型安全对齐方法 SAVeR$^2$,通过可验证奖励解决显式 CoT 推理的安全风险并消除“安全税”。该方法将安全目标分解为 4 个细粒度可验证奖励信号,并通过梯度投影机制化解安全与推理梯度冲突。在 1.5B 至 671B 模型的实验表明,其在多个 benchmark 上显著降低过度拒绝率,且不损害通用推理能力。
Story heat trend
Current heat 8·Comparable peak 10(Nov 6 14:00)·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.