研究评估14款大语言模型医疗推理能力与基准污染问题
Start here
2026年11月3日，一项发表于arXiv的研究对14款大语言模型在4个医疗基准上的表现进行了评估。研究发现，模型在标准多选题测试中的高分表现严重依赖选项提示，一旦隐去选项，平均准确率便从82.3%骤降至50.9%，其中两款医疗专用模型的跌幅最大。在模型规模方面，小模型在标准测试中平均落后大模型8.7个百分点，仅有两款模型通过了执业医师考试基准。此外，记忆污染测试显示最强模型仅凭选项就能反推25%的题目，但在无法反推的题目上仍可维持准确率。该研究同时对比了各模型的准确率与推理成本，并验证了多模型集成在测试中的表现。
AI-generated from reports · Updated 14 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 人工智能新研究评估大语言模型医疗推理能力：基准污染、模型规模与测试形式的影响
一项针对14款大语言模型在4个医疗基准上的评测研究发现，模型在标准多选下的高分严重依赖选项提示，一旦隐去选项，平均准确率从82.3%骤降至50.9%，且两款医疗专用模型跌幅最大。在标准测试中，小模型平均落后大模型8.7个百分点，仅有两款通过执业医师考试基准；记忆污染测试显示最强模型可仅凭选项反推25%的题目，但在不可反推题目上仍能维持准确率。研究还对比了准确率与推理成本，并验证了多模型集成的表现。
Story heat trend
Current heat 6·Comparable peak 9（Nov 3 18:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.