arXiv 机器学习· Yifan Liu·· 9 小时前AI 评分34
任务阶段专家路由并非 MoE FFN 张量量化敏感度的可靠代理
Task-Phase-Conditioned Expert Routing Is Not a Reliable Proxy for Quantization Sensitivity in MoE FFN Tensors
AI 导读
实验表明基于任务阶段的专家路由统计数据无法作为 MoE 语言模型 FFN 张量混合精度量化敏感度的可靠代理指标。研究团队针对 Qwen-3.6-35B-A3B 构建分析流程并依据综合敏感度评分调优层位分配，但在约 4.0 bpw 与约 2.7 bpw 预算下均未能超越均匀量化基线。在约 2.7 bpw 预算下，路由引导分配的表现与随机分配相近，证实路由行为统计难以准确反映各层真实的量化成本。
来源：arXiv 机器学习 · arxiv.org