arXiv 机器学习· Adil Mubashir Chaudhry, Osama Ahmad, Zubair Khalid, Murtaza Taj·· 5 小时前AI 评分25
渐进式多祖先位宽知识蒸馏框架 PMABD
Progressive Multi-Ancestor Bit-Depth Distillation
AI 导读
研究人员提出渐进式多祖先位宽知识蒸馏框架 PMABD，通过生成一系列中间教师模型并结合更高精度祖先教师池共同监督目标学生模型，有效降低量化噪声并稳定超低比特压缩训练。在 CIFAR-10/100 与 Tiny-ImageNet 上的实验表明，PMABD 超越现有压缩方案，使 W2A2 配置下的 ResNet-18 学生模型性能提升 1.06%。
来源：arXiv 机器学习 · arxiv.org