arXiv 机器学习· Sergey Salishev, Zeev Volkovich, Oleg Granichin·· 2 小时前AI 评分36
将 Transformer 编译为通用深度神经网络：精确编译、算子成本与多智能体注意力聚类
Transformers as Generic Deep Neural Networks: Exact Compilation, the Cost of Removing Activation-Activation Products, and Multi-Agent Attention Clustering
AI 导读
研究证明 Transformer 模块可精确编译为仅由固定仿射映射、路由以及平方、sigmoid、平方根倒数和 GELU 构成的通用深度神经网络，无需 NPU 专用算子。
来源：arXiv 机器学习 · arxiv.org