跳到正文
原文
阶跃 StepFun 公众号·· 11 小时前精选AI 评分82

阶跃星辰开放 Step 5 Preview 模型权重并上线技术博客

阶跃 Step 5 Preview 权重开放,技术博客同步上线

AI 导读

阶跃星辰正式开放 Step 5 Preview 的 BF16 与 FP8 模型权重并上线技术博客。该模型面向长程 Agent 任务设计,采用稀疏 MoE 架构,总参数量 600B、每 token 激活 27B,支持 100 万 token 上下文与文本视觉多模态输入。

推荐理由

原文详细给出了600B稀疏MoE的架构细节与长程Agent训练方案,有助于了解深层网络与百万上下文的工程落地。

来源:阶跃 StepFun 公众号 · mp.weixin.qq.com