arXiv 自然语言处理· Wenjun Wang, Heng Li, Yanggan Gu, Hongxia Yang·· 7 小时前AI 评分34
OnlineQAT：面向超低比特大语言模型的 On-Policy 蒸馏框架
OnlineQAT: On-Policy Distillation for Ultra-Low-Bit Large Language Models
AI 导读
研究提出面向超低比特大语言模型的两阶段量化框架 OnlineQAT，先通过 block-wise QAT 获得低比特初始化，再在学生模型生成的响应上由全精度教师模型提供 reverse-KL 信号进行 on-policy 蒸馏。
来源：arXiv 自然语言处理 · arxiv.org