arXiv 自然语言处理· Edward Nguyen, Thai Tran, Kiet Anh Hoang, Duy Hoang, Duy Vo, Khanh Le, Vu Le·· 9 小时前AI 评分34
EDWARD-NMT：面向神经机器翻译的弹性维度、自适应路由与双重一致性架构
EDWARD-NMT: Elastic Dimensions With Adaptive Routing and Dual-consistency for Neural Machine Translation
AI 导读
研究人员提出神经机器翻译 MoE 架构 EDWARD-NMT，实现“一次训练、随处部署”并可在推理时导出多种规模子网络。该架构融合 Matryoshka 弹性维度、自适应 sigmoid 路由及双重一致性目标，让各 token 动态决定激活专家数并削减显存占用。在 PhoMT、WMT-14 等基准评测中，抽取的子网络无需重训即可超越同规模 Dense Transformer。
来源：arXiv 自然语言处理 · arxiv.org