arXiv 自然语言处理· Jiachen Zhao, Zhengxuan Wu, David Bau, Weiyan Shi·· 8 小时前AI 评分40
人设层级模型:理解大语言模型微调中的上下文泛化
The Persona Hierarchy Model: Understanding Contextual Generalization in Fine-Tuning LLMs
AI 导读
研究提出人设层级模型(Persona Hierarchy Model),通过共享默认人设解释大语言模型微调行为在不同上下文间泛化或局限的机制。在跨 4 种行为与 15 个训练上下文的 120 个微调模型实验中,泛化狭窄度与训练人设及默认人设的相似度呈正相关(Qwen3-4B 上 Pearson r = 0.72)。
来源:arXiv 自然语言处理 · arxiv.org