arXiv 人工智能· Priyanath Maji, Spandan Ghose Chowdhury·· 6 小时前AI 评分44
风险感知自适应评估:在有限预算下发现高影响力的失败用例
Risk-Aware Adaptive Evaluation: Finding High-Impact Failures Under Limited Budgets
AI 导读
研究提出基于上下文 Thompson Sampling 的风险感知自适应评估策略,用于在有限预算下高效发现交互式 AI 智能体的高影响力失败。在 70 个 $\tau$-bench 航空场景实验中,仅用 50 次测试(6% 预算)即可找出 86% 的加权失败影响,远高于均匀分配的 25%。
来源:arXiv 人工智能 · arxiv.org