arXiv 机器学习· Donghyun Lee, Arkapravo Ghosh, Varun Manjunath, Bumjoon Kyle Rhee, Hyunho Kook, Shiting Xiao, Youngeun Kim, Priyadarshini Panda·· 2 小时前AI 评分38
SoloQ：面向扩散大语言模型的免校准量化框架
SoloQ: Calibration-Free Quantization for Diffusion Language Models
AI 导读
SoloQ 是一种面向扩散大语言模型（dLLM）的免校准量化框架，通过将权重和激活映射到归一化旋转基实现数据无关量化。该方案结合结构化 K-RPBH 旋转与轻量重缩放校正，支持硬件原生 NVFP4，并为块扩散模型引入提交时 KV cache 量化。在 LLaDA、Fast-dLLM v2 等模型上，SoloQ 在 4-bit 下保持精度，峰值显存降低高达 2.61X，端到端推理加速达 2.24X。
来源：arXiv 机器学习 · arxiv.org