arXiv 自然语言处理· Huayi Lai, Jicheng Yang, Min Yi, Chong Meng·· 6 小时前AI 评分33
MIRROR：大语言模型个性化从模仿走向偏好内化
MIRROR: From Imitation to Internalization in LLM Personalization
AI 导读
研究团队提出大语言模型自我蒸馏框架 MIRROR，通过同策略自我蒸馏将个性化从单纯模仿参考文本转向偏好内化。该框架包含插件 MIRROR-F，在分布对齐基础上对高信息量参考 token 实施选择性监督。在 3 个个性化生成基准和 2 种模型规模测试中，MIRROR 取得领先的个性化表现与文本质量，且比 SFT 基线显著减少了灾难性遗忘。
来源：arXiv 自然语言处理 · arxiv.org