arXiv 机器学习· Muhammad Azlan Qazi, Alexandros Iosifidis, Qi Zhang·· 4 小时前AI 评分33
TRACE:面向高效通信分布式边缘推理的 Transformer 残差激活码本编码
TRACE: Transformer Residual Activation Codebook Encoding for Communication-efficient Distributed Edge Inference
AI 导读
研究人员提出面向分布式边缘推理的 TRACE 框架,通过在 Transformer 层注意力后残差处设置矢量量化器,将传输的激活编码为紧凑码本索引,使接收端能通过查表直接恢复键和值,无需额外下游计算。
来源:arXiv 机器学习 · arxiv.org