跳到正文
原文
Hacker News · AI· bmiedlar·· 4 小时前AI 评分52

NullPrime 开源发布:检验大模型能否识别不可知问题的阴性对照基准

Show HN: NullPrime – do AI models know when they can't know?

AI 导读

作者开源了 NullPrime 基准,通过过滤掉小质数因子构建无表征规律的质数判定集,作为检验大模型不确定性感知与拒答能力的阴性对照工具。直接提问时,多数受测大模型会在约半数难题上捏造错误因数并强行断言;在允许拒答选项后,部分模型在难题上的拒答率可达 91% 至 100%,而在配备代码工具时准确率普遍提升至 89% 至 100%。

来源:Hacker News · AI · github.com