arXiv 机器学习· Pedro Carvalho Brom·· 6 小时前AI 评分36
置信度并非保证：类型化决策模型基准审计
Confidence Is Not a Promise: A Reference Audit of Typed Decision Models
AI 导读
一项针对开源权重 Laya 与 API 模型 Jev 1.13 的审计显示，类型化决策模型的置信度并不能保证单次决策准确率。在 190 项评估中，点估计阈值违背承诺达 147 项，而 Learn then Test 全部履约；经英语校准的 Jev 在 51 个地区仅 8 个兑现 95% 准确率承诺。置信度区分正误的 AUROC 为 0.80 至 0.96，研究已公开代码与数据。
来源：arXiv 机器学习 · arxiv.org