研究提出大模型科学假设真实性评估基准与两阶段筛选方法
Start here
2026年11月3日，一项针对 Claude 和 GPT 的预注册研究在 arXiv 发布。该研究基于 NAS-Bench-201 与 HPOBench 构建精确查表来验证假设真实性，并由 LLM 评审团评估假设的非显而易见性。研究提出了一种先生成候选假设再进行独立筛选的两阶段方法，实验表明该方法可显著提升 Sonnet 在 NAS-Bench-201 上的超额真实性，且不会降低查准率。此外，研究还发现，针对 LLM 裁判进行优化的框架虽然能够提高评审得分，但会导致生成器的查准率急剧下降。
AI-generated from reports · Updated 16 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 机器学习筛选 LLM 生成假设可提升超越 LLM 评审团预期的真实性：基于 NAS-Bench-201 与 HPOBench 的预注册研究
一项针对 Claude 和 GPT 的预注册研究表明，先生成候选假设再独立调用筛选的两阶段方法，可显著提升 Sonnet 在 NAS-Bench-201 上的超额真实性且不降低查准率。该实验基于 NAS-Bench-201 与 HPOBench 精确查表验证假设真实性，并由 LLM 评审团评估非显而易见性。此外，针对 LLM 裁判优化框架虽能提高评分，却会导致生成器的查准率急剧下降。
Story heat trend
Current heat 6·Comparable peak 9（Nov 3 18:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.