arXiv 机器学习· Scott Biggs, Bedionita Soro, Saumya Gupta, Bruno Andreis, Sung Ju Hwang·· 7 hours agoAI score45
基于数据条件 Flow Matching 生成预训练 LLM 权重
A Night at the LLM Zoo: Data Conditioned Flow Matching for Generating Pretrained LLM Weights
Not yet translated; shown in Chinese.
AI guide
研究人员提出一种基于数据条件 Flow Matching 的权重生成方法，可在 Gram-PCA 压缩空间中直接生成完整的预训练 LLM 权重。该研究基于调整 5 类数据配比训练的 51M、124M 与 355M GPT-2 模型库（每组 N = 100）展开验证。生成的模型展现出针对保留混合配比的零样本泛化能力且下游困惑度变化极小，全部源码与产物均已开放。
Source:arXiv 机器学习 · arxiv.org