arXiv 机器学习· Junchao Yang·· 5 小时前AI 评分43
PolyGraph：面向自适应投机解码的规划缓冲 CUDA Graphs
PolyGraph: Plan-Buffered CUDA Graphs for Adaptive Speculative Decoding
AI 导读
研究人员提出 PolyGraph，这是一种面向自定义 Triton kernel 的规划缓冲机制，用单个最大网格图和每次回放前仅传输 28 字节动态形状的方式解决自适应投机解码中 CUDA Graph 形状多变的难题。
来源：arXiv 机器学习 · arxiv.org