arXiv 机器学习· Nian Ran, Tianhe Jia, Zhengyang Mu, Yue Wang, Sebastian Brulin, Markus Olhofer, Mauricio A. Alvarez, Yang Liu, Richard Allmendinger·· 5 小时前AI 评分43
LLM 优化器的重要瓶颈：原理级局部最优
An important Bottleneck in LLM Optimizers: Principle-Level Local Optima
AI 导读
研究揭示反馈驱动的 LLM 优化器普遍存在原理级搜索崩溃瓶颈，即即使持续生成不同候选方案，搜索仍会受困于狭窄的设计原理中。涵盖分子优化、网络哨兵节点选择及 GPU 内核优化的基准测试显示，在 161 次可评估运行中 78.3% 出现崩溃，其中 55.3% 获强证据支持。提高采样温度、多模型协作等注入多样性手段收效有限，凸显了在线崩溃检测机制的必要性。
来源：arXiv 机器学习 · arxiv.org