Hacker News · AI· qtqtqt·· 4 小时前精选AI 评分74
AWS 提出 Priming 方法：无需从头预训练即可将 Transformer 转换为 SSM 混合模型
Can we change an AI model's architecture without retraining it from scratch?
AI 导读
AWS 团队推出 Priming 方法，通过复用预训练 Transformer 权重初始化状态空间模型（SSM）层，将混合架构的训练成本降低 99% 以上且消耗不足 0.5% 的 token 预算。
推荐理由
该方法通过复用预训练权重实现模型架构转换，提供了以极低计算成本将 Transformer 改造为高效混合模型的工程范式。
来源：Hacker News · AI · amazon.science