arXiv 自然语言处理· Linke Zhang·· 7 小时前AI 评分31
baseVultra：通过容量重分配实现的紧凑型非线性循环单元
baseVultra: Compact Nonlinear Recurrence with Reallocated Capacity
AI 导读
研究人员提出了紧凑型循环单元 baseVultra，将密集循环计算预算集中在单个候选生成矩阵上，并将门控矩阵替换为 O(H) 对角交互。在单层 200K 参数的 TinyShakespeare 评测中，该模型验证集 loss 达 1.594，优于同参数的 LSTM（1.604）与 GRU（1.616），且密集循环计算量约为同隐藏维度 GRU 的 54%。
来源：arXiv 自然语言处理 · arxiv.org