阶跃 StepFun 公众号·· 19 days agoSelectedAI score82
阶跃星辰开放 Step 5 Preview 模型权重并上线技术博客
阶跃 Step 5 Preview 权重开放,技术博客同步上线
Not yet translated; shown in Chinese.
AI guide
阶跃星辰正式开放 Step 5 Preview 的 BF16 与 FP8 模型权重并上线技术博客。该模型面向长程 Agent 任务设计,采用稀疏 MoE 架构,总参数量 600B、每 token 激活 27B,支持 100 万 token 上下文与文本视觉多模态输入。
Why it matters
原文详细给出了600B稀疏MoE的架构细节与长程Agent训练方案,有助于了解深层网络与百万上下文的工程落地。
Source:阶跃 StepFun 公众号 · mp.weixin.qq.com