deepsense.ai 提出 Agent 评测框架：从执行轨迹验证到生产发布决策

deepsense.ai 提出了一套面向 AI 智能体的离线评测与上线决策框架，强调不能仅根据最终结果判断，必须验证工具调用、执行顺序、异常处理等完整轨迹。文章建议在无生产流量时以人工用例起步并逐步过渡到真实数据，测试中固定工具 Harness 与环境沙箱，采用要求全胜的 pass^k 指标对抗不确定性，并用小而独立的二元 LLM 裁判替代复杂打分。