研究者提出MoWE架构提升模型原生坐标可解释性

1. 13:00
   arXiv 机器学习

   Mixture of Wide Experts：面向可解释原生坐标的稀疏路由

   Mixture of Wide Experts（MoWE）通过让稀疏专家读取完整表征并写入固定且不相交的输出坐标，使模型能直接学习可解释的原生特征。在 10 billion tokens 训练下，MoWE 原生坐标特异性得分达 0.523，显著优于 Dense（0.375）和标准 MoE（0.268），可解释性媲美 Dense 架构上训练的 TopK SAE。

Current heat 6·Comparable peak 10（Nov 4 14:00）·Comparable change, last 24 hours–

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.