基于模型切片的协同学习与推理

研究人员提出了一种面向大语言模型的协同学习方法，通过模型切片在相近参数预算下将大模型替换为多个小型异构模型以解决单模型错误传播问题。该方法结合金字塔监督，在多跳问答、数学推理、代码生成和开放式约束生成四类任务中，取得了媲美或超越原大模型及多智能体基线的性能，并实现了更高的推理效率。