arXiv 机器学习· Qixin Xu, Zihan Zhu, Xiaojiang Liu, Bohan Lyu·· 8 小时前AI 评分38
PRISM：通过隐式随机调制提升大语言模型的采样多样性
PRISM: Promoting Sampling Diversity of Large Language Models with Implicit Stochastic Modulation
AI 导读
研究者提出大语言模型训练期框架 PRISM，通过次模态数据筛选与随机嵌入调制，将多样性内化为模型能力以解决模式崩溃。PRISM 在两个开源模型族的 WritingPrompts 和 BookMIA 测试中实现最佳生成质量与领先的语义多样性，不仅提升了数学与代码任务的采样效率，还在强化学习中有效缓解了多样性崩溃。
来源：arXiv 机器学习 · arxiv.org