arXiv 机器学习· Chenyu Zhu, Ruoyu Zhao, Zhichao Lu·· 8 小时前AI 评分35
用于 Transformer 异构资源分配的带残差上下文神经谱容量
Neural Spectral Capacity with Residual Context for Heterogeneous Resource Allocation within Transformers
AI 导读
研究者提出面向 Transformer 的残差感知神经谱容量 ResNSC 及其分配器 ResNSC-DP,在无需数据或实例化权重的情况下联合分配残差和前馈宽度。
来源:arXiv 机器学习 · arxiv.org