精选

Pistis技术报告发布：融合蒸馏与强化学习的新型多模态大模型家族

该技术报告介绍了Pistis多模态大语言模型家族，包含基于Qwen系列构建的27B与9B参数模型。研发团队提出了一套通用且可扩展的后训练框架，在大规模多模态监督微调（SFT）的基础上，首创了交替蒸馏与强化学习（IDRL）范式。IDRL将同策略蒸馏与强化学习深度集成在单一训练循环中，通过二者交替优化，有效提升了多模态模型的整体综合性能。