跳到正文
原文
AITNT · AI头条(网页)·· 5 小时前AI 评分75

港科大、CMU与岩山科技开源EdgeRock-4B:KV Cache减少99.1%,长推理显存恒定

内存还会跌吗?KV Cache砍掉99%,单卡吞吐飙6倍,港科大、CMU联手岩山科技开源新模型

AI 导读

岩山科技旗下岩芯矩阵联合港科大、CMU等高校开源模型EdgeRock-4B,采用记忆岩锚机制将长推理历史状态固定,在256K上下文下KV Cache仅占72MiB,减少99.1%。在单张80GB GPU上跑512路长推理并发时,输出吞吐达到12124 tokens/s,为源模型Qwen3.5-4B的6.42倍;模型在AIME基准上平均通过率达82.9%,目前权重与代码均已开源。

来源:AITNT · AI头条(网页) · aitntnews.com