arXiv 自然语言处理· Polina Tsvilodub, Andreas Waldis, Linlu Qiu, Tal Linzen, Michael Franke·· 3 小时前AI 评分35
贝叶斯微调使语言模型获得受其信念支持的贝叶斯决策能力
Bayesian Fine-tuning Yields Language Models that are as Bayesian as their Beliefs Allow
AI 导读
研究表明，使用最优贝叶斯模型输出进行微调（Bayes fine-tuning）可让语言模型在不确定性推理中具备可用的贝叶斯信念，而基于真实答案的标准 SFT 则无法实现该效果。在航班推荐任务测试中，经贝叶斯微调的模型不仅在中间层编码了贝叶斯法则量，还能将其读取并用于推荐决策。交换模型间的信念表征亦能迁移部分贝叶斯优势。
来源：arXiv 自然语言处理 · arxiv.org