arXiv 机器学习· Xinyun Zhang, Li Wang, Lei Jin, Lianming Xu, Zhu Han·· 5 小时前AI 评分34
DS-Net:面向边云协同推理的动态切分网络
DS-Net: A Dynamic Split Network for Edge-Cloud Collaborative Inference
AI 导读
研究人员提出动态切分网络 DS-Net,支持在单一模型内灵活切换多个切分点以优化边云协同推理。该网络通过分层补偿机制解决动态切分与高倍压缩导致的特征分布偏移和信息损失,降低内存开销 74.6% 并实现毫秒级切换延迟。在 Nano 平台与 10 Mbps 带宽约束下,DS-Net 在 COCO 数据集上准确率提升 1.2%,延迟降低 42.5%,吞吐量提升至 1.8×。
来源:arXiv 机器学习 · arxiv.org