arXiv 机器学习· Hassan Tavakoli, Bella Bose·· 6 小时前AI 评分26
信息瓶颈编码器应该学什么？将表征学习与速率控制分离
What Should an Information Bottleneck Encoder Learn? Separating Representation Learning from Rate Control
AI 导读
新研究提出将信息瓶颈（IB）的表征学习与速率控制解耦，使冻结的通用表征能直接适配不同压缩预算。在 MNIST、SVHN、CIFAR-10 和 STL-10 上，该方案相比端到端 VIB 减少了 7.7x 训练 MACs 和约 2x 耗时。其单域与池化预算平均准确率分别达 65.6% 和 67.1%（VIB 为 57.3% 与 57.1%），且在强压缩下避免了崩溃。
来源：arXiv 机器学习 · arxiv.org