arXiv 机器学习· Maximilian Schlegel, Rajai Nasser, Seijin Kobayashi, Yanick Schimpf, Oliver Sieberling, Robert Obryk, Kazuki Irie, Jo\~ao Sacramento, Johannes von Oswald·· 3 小时前AI 评分32
增长型非参数神经网络中以检索为中心的深度学习
Retrieval-Centric Deep Learning in Growing Nonparametric Neural Networks
AI 导读
研究提出以检索为中心的深度学习（RCDL）范式，训练时为每个数据点存储键值对表示，并在推理时通过注意力机制检索重组，构建出动态增长的非参数神经网络。该研究针对径向基函数（RBF）和类 softmax 核的核化注意力层推导了基于函数梯度的优化规则，在图像分类与合成任务中验证了其学习效率，并建立了与 MesaNet、DeltaNet 等优化器的形式化联系。
来源：arXiv 机器学习 · arxiv.org