arXiv 自然语言处理· S M Mahbub Murshed, Hayden Bright, Rezaul Karim, Ali Shiri Sichani·· 9 小时前AI 评分36
EdgeLLM-Nano:在 33.6 MB 端侧语言模型上评估极性引导 Key-Cache 压缩与一致性锚定剪枝
EdgeLLM-Nano: Auditing Polar-Guided Key-Cache Compression and Consistency-Anchored Pruning on a 33.6 MB On-Device Language Model
AI 导读
研究人员提出 EdgeLLM-Nano,利用仅 8.39M 参数(33.6 MB)的微型 Transformer 评测床评估端侧 KV cache 压缩,并引入长上下文解码保真度(LCDF)指标。
来源:arXiv 自然语言处理 · arxiv.org