阶跃 StepFun 公众号·· 11 小时前精选AI 评分82
阶跃星辰开放 Step 5 Preview 模型权重并上线技术博客
阶跃 Step 5 Preview 权重开放,技术博客同步上线
AI 导读
阶跃星辰正式开放 Step 5 Preview 的 BF16 与 FP8 模型权重并上线技术博客。该模型面向长程 Agent 任务设计,采用稀疏 MoE 架构,总参数量 600B、每 token 激活 27B,支持 100 万 token 上下文与文本视觉多模态输入。
推荐理由
原文详细给出了600B稀疏MoE的架构细节与长程Agent训练方案,有助于了解深层网络与百万上下文的工程落地。
来源:阶跃 StepFun 公众号 · mp.weixin.qq.com