arXiv 自然语言处理· Ke Wan, Chen Chen·· 9 小时前AI 评分35
RAMP：面向循环深度语言模型高效 Prefill 的循环自适应混合精度方法
RAMP: Recurrent Adaptive Mixed Precision for Efficient Prefill in Recurrent-Depth Language Models
AI 导读
研究人员提出 RAMP 混合精度方法，用于降低循环深度语言模型在长上下文 Prefill 阶段的推理开销。该方法在前序循环步骤采用低精度权重与激活计算，并在末端步骤恢复高精度，以衰减量化误差并保证最终表征保真度。在高达 4K 上下文长度的测试中，RAMP 在 NVIDIA H100 上实现了最高 1.16x 端到端首个 Prefill 加速，延迟降低 13.9%。
来源：arXiv 自然语言处理 · arxiv.org