你完全可以凭记忆发明出 Transformer 架构

大语言模型中的线性层、MLP 与 self-attention 可统一视作不同层级的关联记忆存储器，其容量上限与检索效果取决于干扰信号比。在 64 维键设定下，线性外积存储受限于维度仅能容纳约 64 个记忆，MLP 可提升至约 2,700 个，而 self-attention 则能检索超 100 万个记忆且容量潜在无上限。