arXiv 机器学习· Siliang Zeng, Luca Viano, Chenliang Li, Jiaxiang Li, Volkan Cevher, Markus Wulfmeier, Stefano Ermon, Alfredo Garcia, Mingyi Hong·· 8 小时前AI 评分35
基于人类反馈的大语言模型对齐：数学基础与算法设计
Aligning Large Language Models with Human Feedback: Mathematical Foundations and Algorithm Design
AI 导读
研究系统梳理了将大语言模型（LLM）与人类意图及偏好对齐的数学基础与算法框架。文章深入探讨了微调（SFT）、人类反馈强化学习（RLHF）和直接偏好优化（DPO）等核心技术，并阐释了其与逆强化学习（IRL）及离散选择模型的理论关联。此外，内容以教程形式解析了主流算法的优缺点与工程实现，为开发可扩展的对齐技术提供系统参考。
来源：arXiv 机器学习 · arxiv.org