LittleBit：基于隐式因子分解的亚 1-bit 大语言模型压缩

开源项目 LittleBit 与 LittleBit-2 通过将权重矩阵分解为低秩隐式因子并二值化，实现每个权重 1.0 至 0.1 bit 的亚 1-bit 极限压缩。LittleBit-2 引入 Joint-ITQ 优化初始化几何对齐且不增加推理开销，并支持 SmoothSign 量化感知训练。代码库已支持 Llama 2/3、Qwen2.5/Qwen3、Phi-4 及 Gemma 等模型。