arXiv 自然语言处理· Minglai Yang, Xinyu Guo, Renxiong Wang, Sunjie Hou, Daniel Yue Zhang, Yunzhong He·· 10 小时前AI 评分39
从复制到组合：语言模型如何发展上下文学习能力
From Copying to Composition: How Language Models Develop In-Context Learning
AI 导读
语言模型并非将上下文学习作为单一能力整体习得，提示词控制、答案偏好与迁移等机制沿不同轨迹发展。研究通过受控诊断测试 17 个模型发现，约三分之一更偏好复制邻近示例，其余偏好符合规则答案的模型表现出更高准确率。检查点分析显示，模型在准确率超越随机水平前，就已优先关注任务相关提示词 token。
来源：arXiv 自然语言处理 · arxiv.org