Hy4 preview 模型升级公告
腾讯混元 2026-09-07 17:00 广东 跳转微信打开
DC AI 热点
全部 AI 动态
9月7日2026-09-07
9月1日2026-09-01
1.5 TB 压到 214 GB，Hy4 preview 轻量版来了
腾讯混元 2026-09-01 11:41 广东 腾讯 混元 H y 4 preview 正式发布并开源 以来 ， 凭借在 代码、办公、科学等真实生产力任务上展现出卓越能 ，受到广泛欢迎。 这一模型 权重接近 1.5 TB ， 上线后， 开源 社区 也 在呼吁一个更轻的版本，希望在配置有限的机器上运行。 为此，腾讯混元团队 通过两项核心技术， 把 H y 4 previe w 的权重缩小到约 214 GB，大幅降低了 运行 模型的硬件门槛 ： 1、Sherry 稀疏三值量化算法：把最激进一档权重压到平均 1.25 比特 2、MIX-STQ1_0 混合精度策略：按校准数据逐层决定每层比特压到多低 Hy4-preview BF16 （左） 和 MIX-STQ1_0 （右） 游戏生成能力展示 结果显示，模型从 1.5TB 压缩到只有 2 14G B ，但是基本的任务也都能完成，这对于资源有限的开发者来说，无疑是一个好消息。 技术 详解： 1.25-bit 极限量化 要把模型压到极限，先得有一个足够低的比特格式，模型里占大头的是路由专家，六成以上的参数都在这里，最激进的压缩就落在这部分，用的是 腾讯混元自研的 Sherry 稀疏量化算法。 Sherry 是一种又小又 规整 的三值量化方法，以四个权重为一组，一起量化成 {-1、0、+1}，并强制每组恰好留一个零。这样一组只有 32 种组合，用 5 bit 就能编码，摊到每个权重平均 1.25 bit，算上分块共享的缩放系数等额外开销，落到