arXiv 自然语言处理· Xiaomeng Xiong, Marcus Walker, Yanlin Jiang·· 8 小时前AI 评分35
LLM 兼任评判者与受试者用于医学试题难度预测
LLMs as Judges and Examinees for Medical Item Difficulty Prediction
AI 导读
研究人员利用开源大语言模型同时充当评判者与模拟受试者，实现了对 USMLE 和 PANCE 医学执照试题难度的预测。结合成对难度比较与模拟答题信号后，模型在 USMLE 和 PANCE 数据集上的 Spearman 相关系数分别达到 ρ = .447 与 .494，超越 2024 BEA 共享任务最佳水平并比肩 Claude Opus 5。由于支持本地部署，该方法为高保密性试题评估提供了实用方案。
来源：arXiv 自然语言处理 · arxiv.org