arXiv 人工智能· Thai Nguyen, Khang Tran, NhatHai Phan·· 20 小时前AI 评分33
HyperZip:通过基于超网络的个性化扩散大语言模型实现高效数据压缩
HyperZip: Efficient Data Compression through Personalized Diffusion LLMs with Hypernetworks
AI 导读
研究人员提出基于扩散大语言模型(dLLM)与多 Token 预测(MTP)的高效数据压缩框架 HyperZip。针对扩散压缩中吞吐量与压缩率的权衡难题,HyperZip 利用超网络从上下文表征生成特定数据更新,无需昂贵微调即可适配目标数据。实验显示,HyperZip 在压缩率与速度之间取得了优于 SOTA 基线的权衡表现。
来源:arXiv 人工智能 · arxiv.org