arXiv 人工智能· Zeqiu Yu, Xuesheng Zhang, Wenxiao Zhao, Shixiao Wang·· 19 時間前AI スコア34
面向高效长到短推理的低秩分层模型合并框架 LHM
Low-Rank Hierarchical Merging for Efficient Long-to-Short Reasoning
未翻訳のため中国語で表示しています。
AI ガイド
研究团队提出免训练模型合并框架 LHM，利用轻量级二阶曲率信息优化长链式推理向简短推理风格的转换。该方法通过低秩 Hessian 近似与双重约束系数映射，解决参数位移引起的损失问题并实现层自适应融合。在 1.5B 与 7B 模型的 6 个数学 benchmark 测试中，LHM 准确率提升超 4%，相对长 CoT 模型输出长度缩减高达 93.1%。
出典：arXiv 人工智能 · arxiv.org