arXiv 自然语言处理· Boyuan Zheng, Jing Xiong, Chenwei Wu, Hui Shen, Zesen Zhao, Hei Ting Una Chan, Xueshen Liu, Zhen Zhang, Liyue Shen, Zechun Liu, Z. Morley Mao·· 2 小时前AI 评分37
OnQ：通过自生成轨迹恢复大语言模型低比特量化推理能力
Right On Q: Recovering Reasoning under Quantization via Self-Generated Trajectories
AI 导读
研究团队提出低比特恢复流程 OnQ，结合 on-policy 知识蒸馏与 Dynamic KL，通过自生成轨迹恢复量化大语言模型的长程推理能力。在 2-bit 和 3-bit 精度的 Qwen3-1.7B、4B 和 8B 测试中，OnQ 在 9 个基准上取得最高平均分，其中 2-bit 下 Qwen3-8B 较最强基线提升 10.26 分。该方案同时生成了更短的回复，并减少了截断与重复错误。
来源：arXiv 自然语言处理 · arxiv.org