量子位· 一水·· 10 小时前精选AI 评分75
港科大、CMU与岩山科技开源 EdgeRock-4B：KV Cache 占用减少 99%，单卡支持 512 路长推理
KV Cache砍掉99%，单卡吞吐飙6倍，港科CMU联手岩山科技开源新模型
AI 导读
岩山科技旗下岩芯矩阵联合香港科技大学、CMU 等开源了新模型 EdgeRock-4B，通过记忆岩锚（RMA）机制将 256K 上下文的注意力 KV 固定在 72 MiB，相比源模型 Qwen3.5-4B 减少 99.1% 的 KV Cache 占用。
推荐理由
原文通过有界状态与关键锚点机制解决了长文本显存膨胀问题，为端侧与高并发推理提供了可落地的固定内存方案。
来源：量子位 · qbitai.com