arXiv 机器学习· Tavish Mankash, Vardhaman Kalloli, Keshava Prasad, Deepan Muthirayan·· 16 時間前AI スコア41
Mixture of Wide Experts：面向可解释原生坐标的稀疏路由
Mixture of Wide Experts: Sparse Routing for Interpretable Native Coordinates
未翻訳のため中国語で表示しています。
AI ガイド
Mixture of Wide Experts（MoWE）通过让稀疏专家读取完整表征并写入固定且不相交的输出坐标，使模型能直接学习可解释的原生特征。在 10 billion tokens 训练下，MoWE 原生坐标特异性得分达 0.523，显著优于 Dense（0.375）和标准 MoE（0.268），可解释性媲美 Dense 架构上训练的 TopK SAE。
出典：arXiv 机器学习 · arxiv.org