arXiv 机器学习· Daniel Cie\'slak, Jacek {\L}ubi\'nski·· 2 小时前AI 评分45
策略更优却导致验证器审计恶化:策略内审计崩溃机制与修复
Better Policies, Worse Verifier Audits
AI 导读
随着策略模型性能提升,在策略内评估验证器组件可能引发“策略内审计崩溃”,导致审计机制反而倾向于更差的组件验证器并增加下游约束违规。该现象源于合取目标下策略熟练度改变了失败样本分布,使审计指标逐渐忽视组件自身的失败。研究表明,在评估与刷新分布中保留组件自身失败样本可有效防止该损害并修复审计。
来源:arXiv 机器学习 · arxiv.org