arXiv 人工智能· Abhishek Mishra, Sagnik Chatterjee, Suyash Maniyar·· 8 小时前AI 评分43
忠实隐空间有害性监控器在相同虚警率下表现不优于模型自身行为
Faithful Latent Harm Monitors Work No Better Than the Models Own Behaviour at a Matched False Alarm Rate
AI 导读
研究测试了 15 个指令微调 LLM 和 38 个基于激活的读取器，发现在相同虚警率下，隐空间有害性监控器并不优于模型自身的拒绝行为。在用户指令最后一个 token 处提取的表征在分布偏移下显著退化，其排序效果甚至在所有测试模型中均不如 TF-IDF 分类器。生成前最后一个模板 token 处的有害提示词检出率虽达 44%（模型拒绝率为 32%），但该增益主要伴随拒绝决策本身产生。
来源：arXiv 人工智能 · arxiv.org