Copy-Paste Language Models 研究提出 CPLM 架构

研究人员提出复制-粘贴语言模型（CPLM），通过在传统 LM 预测头之外添加轻量级 Copy-Paste 头，增强 LLM 在上下文中的复制能力。在 135M 至 1.7B 参数规模的预训练验证中，该方法以可忽略的训练和推理开销提升了训练效率与下游任务表现，并在长上下文和检索场景中提供新的工作平衡点。其机制在于通过替代梯度路径部分缓解了传统 LM 头的梯度瓶颈。