arXiv 人工智能· Mohammad Mosafer·· 5 小时前AI 评分37
从潜在空间到雅可比空间：大模型安全内容可访问性的度量、规避与训练防御
From Latent Space to Jacobian Space: Measuring, Evading, and Training Against Safety-Content Accessibility
AI 导读
研究提出通过雅可比空间（J-space）度量大模型内部安全内容的可访问性，并在 135M 至 1.5B 规模模型上揭示了安全训练与内部表示的脱节。实验显示 0.5B 模型经 DPO 训练后虽学会拒答，但 J-space 危险识别率降至随机水平，且感知监控的 GCG 后缀可零成本绕过提示侧监控。这表明安全训练与监控必须直接针对可访问性本身。
来源：arXiv 人工智能 · arxiv.org