arXiv 人工智能· Gautam Gupta, Dikshant Kukreja, Unique Kumar, Avni Mittal, Deepanshu Dabas, Kshitij Sah, Erik Cambria, Rajiv Ratn Shah, Zhengkui Wang, Avinash Anand·· 6 小时前AI 评分42
越大越脆弱：为什么语言模型规模越大压缩损伤越严重
When Bigger Becomes Brittle: Why Compression Hurts More as Language Models Scale
AI 导读
研究针对上下文检索能力分析发现，语言模型规模越大，网络内部对量化与剪枝损伤的补偿能力反而越弱。在面对同等程度的组件损伤时，较小模型能通过网络其余部分修复大部分损失，而较大模型抵消的比例更少并保留了大部分损失。这表明在小模型中近乎无害的压缩操作，在大型模型中可能造成显著损伤。
来源：arXiv 人工智能 · arxiv.org