arXiv 自然语言处理· Dayan Pan, Jingyuan Wang, Xie Yu·· 2 小时前AI 评分35
面向大语言模型参数高效微调的动态位置注意力调制 DyPAM
Dynamic Positional Attention Modulation for Parameter-Efficient Fine-Tuning of Large Language Models
AI 导读
研究人员提出大语言模型参数高效微调（PEFT）新方法 DyPAM，直接在 Query 和 Key 表征上调节位置信息对注意力的贡献。该方法结合输入驱动的维度级调制与头级、层级结构调制，在不修改预训练骨干网络的前提下实现与 RoPE 结构对齐的细粒度适应。实验表明，DyPAM 在数学和常识推理基准测试中持续优于现有 PEFT 基线。
来源：arXiv 自然语言处理 · arxiv.org