Hacker News · AI· sha_rad·· 2 小时前精选AI 评分65
Dory1.0-4B 弹性深度循环大语言模型发布并开源检查点
Dory1.0-4B: A Looped Normalized-GPT
AI 导读
研究团队开源了 4B 参数的弹性深度循环大语言模型 Dory1.0-4B，允许单个检查点在推理阶段通过调整共享模块的循环次数来匹配不同算力预算。
推荐理由
模型通过在潜在空间循环共享层实现弹性深度推理，并在仅缓存最终循环 KV-cache 的前提下显著提升了长上下文与智能体任务的表现。
来源：Hacker News · AI · huggingface.co