arXiv 机器学习· Joohyun Shin, Byeonghyeon Park, Keumseo Ryum, Joonhyuk Kang·· 5 小时前AI 评分37
基于通信高效投机解码的分布式大语言模型推理
Distributed LLM Inference via Communication-Efficient Speculative Decoding
AI 导读
研究人员提出分布式投机解码框架 DISCO，用于端云协作的大语言模型推理并消除了词表级分布传输。DISCO 在服务端引入草稿小语言模型（SLM）副本以在本地获取分布，使设备与服务器间仅需传输草稿 token 索引和标量概率值。多数据集实验表明，该方法严格保留了目标分布，在严苛带宽限制下实现了更高的解码加速比。
来源：arXiv 机器学习 · arxiv.org