arXiv 人工智能· Jeremy Canale, Fabien Soulis·· 4 小时前AI 评分54
ReplayRCA 基准发布：通过反事实重放评估智能体故障的事后诊断与实时监督
ReplayRCA: Measuring Post-hoc Diagnosis and Live Oversight of Agent Failures by Counterfactual Replay
AI 导读
研究人员提出通过反事实重放介入来评估模型修复智能体多步骤故障能力的基准 ReplayRCA，包含事后诊断与实时监督两个赛道。在 62 个系统性故障测试中，13 个前沿模型中表现最好的 Grok 4.7 达到 +51.3 的因果修复分，而前八名模型在统计学上无显著差异。
来源：arXiv 人工智能 · arxiv.org