arXiv 自然语言处理· Zehao Lin, Qianfeng Shen, Xixuan Hao, Shaobo Cui, Chunyu Li, Kai Chen, Bo Tang, Zhenjun Wang, Jin Yan, Zhiyu Li, Feiyu Xiong·· 8 小时前AI 评分37
将分层 RAG 中的自回归 LLM 控制编译为策略精确并行推理
Compiling Autoregressive LLM Control into Policy-Exact Parallel Inference for Hierarchical RAG
AI 导读
研究提出一种将分层 RAG 中自回归 LLM 控制编译为策略精确并行推理的方法，仅需一次根节点 prefill 加一次树因果 probe 即可完成两步前向传播且输出零 token。在 MetaX 设备测试中，该方法在 84%–89% 的问题上与串行策略一致，相比逐 token 串行解码降低 35%–47% 的控制延迟，相比理想分块引擎降低 6%–7%，并在 H800 上保持了相同优势。
来源：arXiv 自然语言处理 · arxiv.org