arXiv 机器学习· M. Berk Sahin, Ege C. Kaya, Arda Fazla, Behzad Sharif, Abolfazl Hashemi·· 5 小时前AI 评分30
状态相关重尾噪声下的鲁棒朗之万采样及其在 LLM 微调中的应用
Robust Langevin Sampling under State-Dependent Heavy-Tailed Noise with Applications to LLM Fine-Tuning
AI 导读
研究人员提出了放宽梯度全局 Lipschitz 与方差均匀有界假设的新采样框架，并设计出 R-LMC、A-LMC 与 RA-LMC 三种算法，支持 $1<p\le 2$ 阶有限矩的状态相关重尾噪声。该方法在无需耗散性假设下建立了 Fisher 信息意义上的非渐近收敛保证。在 LLM 与视觉语言模型的贝叶斯微调实验中，RA-LMC 在准确率和不确定性量化上达到或超越了前沿基线。
来源：arXiv 机器学习 · arxiv.org