研究者提出大语言模型训练后压缩方案DictLLM
Start here
2026年11月6日，研究者在arXiv发布论文，提出大语言模型训练后压缩方案DictLLM。该方案通过将分组层权重分解为共享字典与层专属稀疏系数，无需二次训练即可显著降低内存占用。技术上，DictLLM结合了SVD分解与基于Hessian信息的稀疏化及量化优化。测试结果显示，该方法在LLaMA-7B上实现了5.1倍压缩，WikiText-2困惑度仅增加2.9，压缩率达到现有SOTA低秩方法的3.6倍。
AI-generated from reports · Updated 5 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 人工智能DictLLM：基于字典核的大语言模型训练后压缩方案
大语言模型训练后压缩方案 DictLLM 通过将分组层权重分解为共享字典与层专属稀疏系数，无需二次训练即可显著降低内存占用。该方法结合 SVD 分解与基于 Hessian 信息的稀疏化及量化优化，在 LLaMA-7B 上实现 5.1x 压缩且 WikiText-2 困惑度仅增 2.9，压缩率达现有 SOTA 低秩方法的 3.6x。
Story heat trend
Current heat 9·Comparable peak 10（Nov 6 14:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.