跳到正文
原文
AITNT · AI头条(网页)·· 6 小时前精选AI 评分79

阶跃星辰开源大模型 Step 5 Preview

OpenRouter周榜全球第二,这个国产模型终于开源了

AI 导读

阶跃星辰正式开源大模型 Step 5 Preview,并在 Hugging Face 与 ModelScope 同步上线 BF16 和 FP8 权重。该模型采用稀疏 MoE 架构,总参数量 600B、激活参数 27B,支持 100万Token 上下文窗口。

推荐理由

原文解析了窄深架构配合稀疏注意力的设计细节,为长上下文大模型的工程优化和训练稳定提供了可参考的实现方案。

来源:AITNT · AI头条(网页) · aitntnews.com