热点事件持续更新
大模型亚1-bit量化方案LittleBit与LittleBit-2开源
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
开源项目 LittleBit 与 LittleBit-2 推出基于隐式因子分解的亚 1-bit 大语言模型压缩方案。该技术通过将权重矩阵分解为低秩隐式因子并进行二值化处理，实现了每个权重 1.0 至 0.1 bit 的极限压缩。其中，进阶方案 LittleBit-2 引入了 Joint-ITQ 技术，在不增加推理开销的前提下优化初始化几何对齐，并支持 SmoothSign 量化感知训练。目前，该项目代码库已适配支持 Llama 2/3、Qwen2.5/Qwen3、Phi-4 及 Gemma 等多款主流大语言模型。
AI 根据报道生成 · 57 分钟前更新
最新进展10月8日 21:29
LittleBit与LittleBit-2开源，实现亚1-bit大模型极限压缩并适配多种主流模型。报道时间线
沿着报道，了解事件的不同侧面。
10月8日
- Hacker News · AILittleBit：基于隐式因子分解的亚 1-bit 大语言模型压缩
开源项目 LittleBit 与 LittleBit-2 通过将权重矩阵分解为低秩隐式因子并二值化，实现每个权重 1.0 至 0.1 bit 的亚 1-bit 极限压缩。LittleBit-2 引入 Joint-ITQ 优化初始化几何对齐且不增加推理开销，并支持 SmoothSign 量化感知训练。代码库已支持 Llama 2/3、Qwen2.5/Qwen3、Phi-4 及 Gemma 等模型。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。