跳到正文
原文
Hacker News · AI· lisajaloza·· 5 小时前AI 评分52

微软实测 ASSERT 结构化 AI 评测框架与 Petri Bloom 的对比表现

Are your AI evals measuring the right things?

AI 导读

微软公布内部研究,对比了基于行为分类法的 ASSERT 框架与基于叙事扩展的 Petri Bloom 在 16 项网络安全风险评测中的表现。实测显示 ASSERT 在 MITRE ATT&CK 技术覆盖率达 61%(高于对照组的 58%),且在首轮对话中的违规暴露率达到 56%(对照组为 15%)。研究表明结构化行为分类能更高效暴露模型违规,并支持开发者从分类定义到对话记录全程追溯诊断。

来源:Hacker News · AI · commandline.microsoft.com