跳到正文
原文
量子位· 听雨·· 13 小时前精选AI 评分73

百度开源文心 Unlimited OCR 2,长文档峰值 KV 缓存降低 96%

KV Cache被压成常数!OCR开源新王:页数没上限,缓存砍96%

AI 导读

百度正式开源文心 Unlimited OCR 2,通过稀疏参考滑动窗口注意力机制与无限解码机制支持超长文档连续解析。在百页级单序列测试中,其峰值 KV 缓存占用从 47GB 降至 1.77GB,16 路并发吞吐量提升至 1315 Token/秒。目前该模型代码与权重已在 GitHub 和 Hugging Face 开放。

推荐理由

该模型给出了长文档视觉解析中降低显存开销的架构参考,有助于高并发文档处理服务的工程落地。

来源:量子位 · qbitai.com