Hot storiesContinuously updated
研究者提出长文本推理架构FlashOffloading
1 reports1 reporting sourcesUpdated 5 hours ago
Start here
AI overview
2026年11月6日，研究人员在 arXiv 发布论文，提出面向长上下文大语言模型（LLM）服务的 FlashOffloading 架构。长上下文 LLM 推理往往面临显存瓶颈与延迟问题，该架构通过将 prefill（预填充）与 decode（解码）阶段的 KV cache 完全卸载至主机 DRAM，为长上下文 LLM 提供低延迟的卸载推理技术方案。
AI-generated from reports · Updated 5 hours ago
Latest developmentsNov 6 13:00
研究者提出FlashOffloading架构，将KV cache完全卸载至主机DRAM。Report timeline
Follow the reports to see different sides of the story.
Nov 6
- arXiv 人工智能FlashOffloading：面向长上下文 LLM 服务的低延迟 KV Cache 卸载技术
研究人员提出 FlashOffloading 架构，通过将 prefill 与 decode 阶段的 KV cache 完全卸载至主机 DRAM，解决长上下文 LLM 推理的显存瓶颈与延迟问题。
Story heat trend
Current heat 9·Comparable peak 10（Nov 6 14:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.