跳到正文
原文
arXiv 机器学习· David Jin, Beshr IslamBouli, Tarushii Goel, Han Guo, Yoon Kim·· 11 小时前AI 评分44

BiLoCo:用于训练后量化的二值低秩校正

BiLoCo: Binary Low-Rank Corrections for Post-Training Quantization

AI 导读

BiLoCo 是一种用于 LLM 训练后量化(PTQ)的二值低秩校正方法,将校正因子存为二值符号向量,使单 rank 存储降低 16x 并支持与 FP4 GEMM 并发执行。

来源:arXiv 机器学习 · arxiv.org