研究团队发布循环架构语言模型Dory1.0-4B
Start here
2026年11月4日，研究团队在arXiv发布论文，推出40亿参数隐式循环语言模型Dory1.0-4B。该模型基于nGPT架构，在6万亿token上完成预训练，支持256K上下文，并能通过单个权重动态适配不同的推理算力预算。在机制设计上，其循环计算仅缓存最后一轮键值，以此保持固定的显存占用。性能方面，模型在两轮及以上循环时，平均表现超过Qwen3.5-9B与Gemma 4 12B。目前，研究团队已开源该模型的BF16、MXFP8、NVFP4以及GGUF量化版本。
AI-generated from reports · Updated 10 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 自然语言处理Dory1.0-4B 论文发布：基于循环架构与弹性计算深度的 4B 语言模型
研究团队推出 40 亿参数的隐式循环语言模型 Dory1.0-4B，支持单个权重动态适配不同推理算力预算。该模型基于 nGPT 架构并在 6 万亿 token 上预训练，支持 256K 上下文，循环计算时仅缓存最后一轮键值以保持固定显存占用。在两轮及以上循环时，其平均表现超越 Qwen3.5-9B 与 Gemma 4 12B，且已开源 BF16、MXFP8、NVFP4 与 GGUF 量化版本。
Story heat trend
Current heat 8·Comparable peak 10（Nov 4 14:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.