AllenAI 推出 BenchMIRT：基于多维项目反应理论审计 LLM 基准测试

AllenAI 推出 BenchMIRT 评估方法，利用多维项目反应理论在单题层级审计 LLM 基准测试实际衡量的潜在能力，并开源了代码、数据与技术报告。该方法分析了 100 个大模型在 16 个基准中超过 34K 道题目的表现，独立分离出安全性和通用推理两大主维度，发现 BBQ 与 WMDP 等传统安全基准的得分受通用推理能力影响更显著。