语言模型跨版本迭代中的预训练信息披露研究

一项对 17 个模型族、41 个模型的审计显示，语言模型后续版本并未持续保留先前的预训练信息披露。在 10 个模型族的 24 次相邻版本对比中，得分有 11 次下降、6 次上升，总计出现 38 项指标减少与 28 项增加。总分提升常掩盖细节损失，如 Llama-3.1 虽高于 Llama-2 却丢失 2 项数据标准得分，语料构成与训练算力仍存披露空白。