跳到正文
原文
arXiv 人工智能· Jonathan F. Jao, Andrew Kyle Lampinen·· 6 小时前AI 评分43

Value Probes:面向束搜索红队测试的学习型价值函数

Value Probes: Learned Value Functions for Beam-Search Red Teaming

AI 导读

研究提出基于线性探测目标模型内部激活预测未来奖励的 Value Probes 方法,将其作为启发函数引入束搜索自动化红队审计。在 18 种目标行为和 3 种模型规模测试中,该方法相比 token 匹配的标准审计将峰值审计得分提升约 50%。此外,Value Probes 可用较小模型的 off-policy 数据训练,为昂贵的语言模型追问提供了高效替代方案。

来源:arXiv 人工智能 · arxiv.org