arXiv 人工智能· Xiangjing An, Zhibin Jiao, Aiting Chen·· 1 天前AI 评分34
大模型全阶段训练综合框架：从数据与分词、预训练到后训练对齐
A Comprehensive Framework for All Stages of Large-Model Training: From Data and Tokenization, through Pretraining, to Post-Training Alignment
AI 导读
一项新研究提出大模型全阶段训练六维分析框架，系统综述了 2017 至 2026 年间的 395 篇核心文献，覆盖从数据与分词、预训练到后训练对齐的完整链路。研究指出 scaling laws 可比性取决于数据质量与混合配比，RLHF 与 DPO 等方法重塑了后训练边界，多模态训练亦对纯文本范式构成结构性挑战，并给出了实用决策树与至少 10 个开放问题。
来源：arXiv 人工智能 · arxiv.org