arXiv 自然语言处理· Kshitish Ghate, Michael Saxon, Tadayoshi Kohno, Aylin Caliskan·· 10 小时前AI 评分39
RoleFUZZER：针对大语言模型角色规范遵循的用户行为模糊测试
RoleFUZZER: User-Behaviour Fuzzing for Role-Specification Adherence in Large Language Models
AI 导读
研究者推出 RoleFUZZER 框架，将覆盖率引导的模糊测试引入大语言模型，用于检测多轮交互中模型对角色规范的遵循能力。该框架基于 64 格行为覆盖网格测试了 5 类角色规范，在 15 轮测试中覆盖率均达到 >= 89%，显著高于自由生成对话的 39-69%。测试还成功发现开源模型忽略安全信号、Claude Haiku 4.5 偏离人设等违规模式。
来源：arXiv 自然语言处理 · arxiv.org