arXiv 自然语言处理· Basavaraj R M, Manav Verma·· 7 小时前AI 评分28
零门控交叉注意力
Zero-Gated Cross-Attention
AI 导读
研究团队提出归纳门控交叉注意力（IGCA），通过零初始化交叉注意力桥接保持冻结模型初始行为，实现渐进式多模态注入。IGCA 在初始化时的最大输出差异为 0.00e+00，已应用于冻结的 Falcon-40B、open_llama_30b 和 Bloom-7b1。在保留评估中，最佳检查点将 loss 从基线的 4.3469 降至 2.2201，降幅达 48.9%。
来源：arXiv 自然语言处理 · arxiv.org