arXiv 机器学习· Angela Tang, Vishesh Anand, Gon\c{c}alo Paulo·· 8 小时前AI 评分48
追踪预训练过程中的潜意识学习
Tracing Subliminal Learning Through Pretraining
AI 导读
研究基于 Pythia、PolyPythia 和 DataDecide OLMo 模型证实，大语言模型在硬标签与策略内软标签蒸馏中均会跨架构、尺寸与语料继承无关特质（即潜意识学习）。传递与获取偏好的能力在预训练中独立演化，导致师生角色互换时传递强度呈显著不对称性；相比硬标签，软标签蒸馏能以更少训练产生更一致的偏好传递。
来源：arXiv 机器学习 · arxiv.org