HybridInfer：面向端、边、云协同大模型推理的热感知强化学习分层路由
该研究探讨了端侧小模型在连续推理时面临的硬件限制。作者在旗舰骁龙设备上发现，端侧持续生成不仅会导致降温降频，还因现有工具链（移动GPU上的OpenCL内核编译与长Prompt预填充）缺陷，导致GPU运行时在连续查询后崩溃或静默卡死。为此，研究提出了HybridInfer，采用热感知的强化学习策略，在端侧、边缘和云端之间进行动态分层路由，以兼顾本地隐私、成本与系统稳定性。
推荐理由揭示了端侧LLM推理中移动GPU运行时崩溃的实际工程痛点，并提出了端边云动态路由解法，具备一定参考价值。
原标题：HybridInfer: Thermal-Aware Reinforcement-Learning Tier Routing for On-Device, Edge, and Cloud LLM Inference
阅读 arXiv 机器学习 原文 ↗