TWIG：每个权重都是一条共享离散决策路径

研究人员提出 TWIG 权重表示方法，将神经网络每个权重表示为共享的离散决策路径，统一了剪枝、量化与低秩分解等模型压缩编辑。在大语言模型 5 个权重矩阵的 3- 和 4-bit 精度测试中，该方法在同等层误差下比 GPTQ 减少 9--15% 的加法运算，在具有强离群值的矩阵上减少 20--55%。