Hacker News · AI· hemanth2k·· 7 days agoSelectedAI score67
开源评测工具 Mistrial 发布：多次运行检测大模型裁判的不稳定性与评分翻转
Mistrial – Re run your LLM judge and see how often it flips
Not yet translated; shown in Chinese.
AI guide
开源评测工具 Mistrial 正式发布，通过跨轮次、跨评判模型与改写评分准则（Rubric）重新测试大模型裁判（LLM judge），量化评估评分波动并输出可靠性报告卡。
Why it matters
针对大模型裁判单次评分不可靠的痛点，该工具通过统计学一致性指标和自动化门禁提供了可直接落地的校验方案。
Source:Hacker News · AI · github.com