arXiv 自然语言处理· Kutay Tire, Atula Tejaswi, Haris Vikalo, Sujay Sanghavi·· 8 小时前AI 评分38
INTACT：在冻结骨干模型上诱导隐式推理
INTACT: Inducing Latent Reasoning on a Frozen Backbone
AI 导读
研究人员提出 INTACT 方法，通过小型外部编码器在 1B 至 8B 的冻结骨干模型中诱导隐式推理前缀，减少自回归解码的中间 token 数量。实验显示，该方法将 Llama-3.2-3B 的 GSM8K 准确率从 75.8% 提升至 79.3%，端到端延迟降低 19%，并将 Qwen2.5-3B 的准确率从 77.6% 提升至 79.7%。
来源：arXiv 自然语言处理 · arxiv.org