ホットトピック観察中
研究者提出结合异常值与稀疏性的大模型PTQ量化新方法
1 件の報道1 件の報道元1 日前 更新
まずこの件を把握する
AI 概要
针对大模型训练后量化（PTQ）过程中出现的精度损失问题，最新研究提出了一种基于权重异常值与稀疏性的量化方案。该方案将原始权重分解为量化矩阵、低秩分量以及用于捕获异常行的稀疏矩阵，并采用模拟退火算法搜索最优权重分解。在 4-bit NF4 与 FP4 量化测试中，该方案在 Llama 3.2 1B、Llama 3.2 3B、Llama 3.1 8B 及 Qwen2.5 7B 等多个模型上的表现显著优于直接量化，且仅带来极小的额外内存开销。
AI が報道をもとに生成 · 1 日前 更新
最新の進展11月3日 13:00
新研究提出结合权重分解与模拟退火算法的PTQ方案，在多款模型上测试效果显著优于直接量化。報道タイムライン
報道をたどり、出来事のさまざまな側面を知る。
11月3日
- arXiv 机器学习基于权重异常值与稀疏性的大模型量化方法
针对大模型训练后量化（PTQ）的精度损失问题，新研究提出将原始权重分解为量化矩阵、低秩分量及捕获异常行的稀疏矩阵，并利用模拟退火算法搜索最优分解。在 4-bit NF4 与 FP4 量化测试中，该方案在 Llama 3.2 1B、Llama 3.2 3B、Llama 3.1 8B 及 Qwen2.5 7B 上的表现显著优于直接量化，且仅带来极小的内存开销。
このストーリーのホット度の推移
現在のホット度 4·比較可能範囲のピーク 9（11月3日 18:00）·直近24時間の比較可能な変化-49%
トレンドは継続して完全に観測した同じ主体のみを比較するため、現在のホット度の集計より範囲が狭い場合があります。ポインターの移動やタップで1時間ごとのホット度を確認でき、キーボードでは左右の矢印キーで切り替えられます。