arXiv 自然语言处理· Zixuan Liu, Gustavo Didier, Fangzheng Wu, Brian Summa, Zizhan Zheng·· 8 小时前AI 评分34
用于大语言模型罕见事件估计的加权集成采样（WE）
Weighted Ensemble Sampling for Rare-Event Estimation in Language Models
AI 导读
研究人员提出了无需训练的框架加权集成（Weighted Ensemble, WE），用于估计大语言模型的罕见严重故障概率。WE 完全基于原始语言模型采样，利用大语言模型内部表示作为前缀级信号，定期将采样预算重新分配给更有可能触发目标罕见事件的前缀。在覆盖小规模与现代大规模 LLM 的安全任务实验表明，WE 提升了罕见事件概率估计的效率与可靠性。
来源：arXiv 自然语言处理 · arxiv.org