arXiv 机器学习· Alina Sudakov, Guy Bar-Shalom, Fabrizio Frasca, Haggai Maron·· 7 小时前AI 评分36
通过显式多对多层映射学习跨模型激活对齐
Learning Cross-Model Activation Alignments with Explicit Many-to-Many Layer Maps
AI 导读
研究人员提出 MATCHA 方法，通过联合学习显式多对多层映射与层共享特征映射，实现独立训练大语言模型间的跨模型激活对齐。在涵盖 3 个模型族的 7 款模型、共 42 对组合测试中，MATCHA 显著提升了目标激活重建和检索指标，证实层间对应呈现多对多关系。该对齐技术还支持在不同模型间直接迁移 steering vectors 与探针等激活空间干预。
来源：arXiv 机器学习 · arxiv.org