Skip to content
Hot storiesContinuously updated

研究揭示演化策略微调大模型“劣质子代优化父代”悖论机制

1 reports1 reporting sourcesUpdated 7 hours ago

Start here

AI overview

2026年11月4日,arXiv发布的人工智能论文揭示了演化策略(ES)微调大语言模型(LLM)中的一个反直觉悖论现象:在微调过程中,所有扰动子代模型的表现均持续差于父代,但父代模型本身却在训练中持续提升。研究指出,在高维空间中,扰动探索虽然会导致模型局部性能变差,但依然能够指示出有效的优化方向,通过聚合这些方向即可推动模型优化。该机制在跨模态与跨任务场景中普遍存在,为基于扰动的数十亿参数大模型微调提供了指导。

AI-generated from reports · Updated 6 hours ago

Report timeline

Follow the reports to see different sides of the story.

Nov 4
  1. arXiv 人工智能
    演化策略悖论:从更差的扰动中获得更好的模型

    论文揭示了演化策略(ES)微调大语言模型(LLM)中的悖论现象:所有扰动子代模型的表现均持续劣于父代,但父代模型本身却在训练中持续提升。研究表明高维空间中的扰动探索虽导致局部性能变差,但仍能指示有效方向,聚合这些方向即可实现优化。该机制跨模态与任务普遍存在,为基于扰动的数十亿参数 LLM 微调提供了指导。

Story heat trend

Current heat 8·Comparable peak 10(Nov 4 14:00)·Comparable change, last 24 hours–

02.557.510Nov4Nov4Nov4Nov4

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.