Hacker News · AI· hemanth2k·· 3 小时前精选AI 评分67
开源评测工具 Mistrial 发布：多次运行检测大模型裁判的不稳定性与评分翻转
Mistrial – Re run your LLM judge and see how often it flips
AI 导读
开源评测工具 Mistrial 正式发布，通过跨轮次、跨评判模型与改写评分准则（Rubric）重新测试大模型裁判（LLM judge），量化评估评分波动并输出可靠性报告卡。
推荐理由
针对大模型裁判单次评分不可靠的痛点，该工具通过统计学一致性指标和自动化门禁提供了可直接落地的校验方案。
来源：Hacker News · AI · github.com