arXiv 机器学习· Liam Davis, Romain Emil-Popescu, Suman Jana·· 5 小时前AI 评分43
LLM 是否回答了问题？面向越狱评测的语义重构博弈
Did the LLM Answer the Question? A Semantic Reconstruction Game for Jailbreak Evaluation
AI 导读
针对仅更换裁判 LLM 会导致越狱攻击成功率（ASR）波动高达 82 个百分点的问题，研究者提出无需训练的评测方法“语义重构博弈”。该方法仅依据模型回复的实质内容反向重构请求，通过与诱饵请求比对判定是否匹配，并支持在均不匹配时弃权。在 3 款现成裁判 LLM 测试中，该方法在人类标注对比中取得最低平均误差，能有效减少误报并降低 ASR 波动。
来源：arXiv 机器学习 · arxiv.org