研究揭示数据科学智能体中的隐性失效问题

一项发表于 arXiv 的研究指出，现有数据科学智能体评估主要关注下游预测性能，容易掩盖数据泄露和不恰当验证等方法论层面的隐性失效。研究团队在 220 个数据科学任务及 Kaggle 竞赛中展开多维度测试，发现绝大多数智能体方案均包含至少一种失效模式，且数据泄露的发生与预测指标呈正相关。定性分析进一步显示，相比专业数据科学家，现有智能体在领域知识与问题解决创造力上仍存在明显不足。