跳到正文
原文
arXiv 人工智能· Jiayi Chen, Hui Li, Yujiong Shen, Qiyuan Peng, Yanxin Li, Chenhao Huang, Shaofan Liu, Guoqiang Zhang, Junjie Ye, Shihan Dou, Ming Zhang, Maxm Pan, Tao Gui, Qi Zhang, Xuanjing Huang·· 3 小时前AI 评分39

TIDE:基于模型行为的树状细粒度诊断性评估框架

TIDE: Tree-Induced Fine-Grained Diagnostic Evaluation from Model Behaviors

AI 导读

研究团队提出基于行为驱动决策树归纳的细粒度模型诊断评估方法 TIDE,通过递归构建分层能力树来揭示单一聚合分数无法展现的底层能力差异。该方法利用 LLM 裁判生成候选切分并由信息增益筛选,在 4 个基准和 5 个模型的测试中发现,Claude Opus 4.6 在微观经济市场推理上达 100% 优于 GPT-5.4 的 83.3%,但在合同法推理上以 77.8% 落后于后者的 88.9%。

来源:arXiv 人工智能 · arxiv.org