跳到正文
原文
AITNT · AI头条(网页)·· 5 小时前AI 评分73

GitHub 开源 PR 透露 Qwen4-27B 架构细节,延续稠密路线并引入四路残差设计

Qwen4推理内核代码现身GitHub:27B架构细节引热议,新一代模型路线浮出水面?

AI 导读

英特尔 GPU 推理加速仓库中已合并的 PR 意外公开了 Qwen4-27B 的底层算子实现,开源社区借此逆向还原出其架构线索。代码显示 Qwen4-27B 仍沿用 27B Dense 稠密路线与 5120 隐藏层维度,但引入了四路 Hyper-Connections 残差流、Sigmoid 输出门控和 QSA 稀疏注意力等新设计。

来源:AITNT · AI头条(网页) · aitntnews.com