分析称DeepSeek mHC多流残差架构在深层存在坍塌现象
一项针对DeepSeek-V4-Flash模型中mHC（多流残差）结构的机制分析显示，原本设计的四条残差流在实际读写权重中主要集中于其中约两条流。此外，在第22至42层等深层网络中，残差混合矩阵已退化并接近单位矩阵。该观察表明，模型在充分训练后对动态多流混合机制的实际依赖程度较为有限，部分残差通道可能存在冗余或功能退化。
推荐理由对前沿模型新型残差连接机制的逆向与可解释性分析，为大模型架构设计提供了务实的消融与反思视角。
原标题：DeepSeek mHC多流残差坍塌失效了？
阅读 AITNT · AI头条（网页） 原文 ↗