Dory1.0-4B 论文发布：基于循环架构与弹性计算深度的 4B 语言模型

研究团队推出 40 亿参数的隐式循环语言模型 Dory1.0-4B，支持单个权重动态适配不同推理算力预算。该模型基于 nGPT 架构并在 6 万亿 token 上预训练，支持 256K 上下文，循环计算时仅缓存最后一轮键值以保持固定显存占用。在两轮及以上循环时，其平均表现超越 Qwen3.5-9B 与 Gemma 4 12B，且已开源 BF16、MXFP8、NVFP4 与 GGUF 量化版本。