跳到正文
原文
Hacker News · AI· Corbenic·· 2 小时前精选AI 评分63

Corbenic 发布 Galahad:支持 50M Token 窗口与多框架的 AI 长期记忆层

Show HN: Try Free Long-Term Memory for AI 50M-Token Window

AI 导读

Corbenic 推出 AI 长期记忆层 Galahad,通过将模型 KV 缓存持久化至磁盘并精确检索文档,使 GPU 无需重复计算已处理的 token。该工具核心基于 C++ 开发,支持接入 vLLM、SGLang 与 llama.cpp,在处理高达 5000 万 token 的文本时可将显存占用稳定在 34.1GB。

推荐理由

原文给出了持久化 KV 缓存扩展超长上下文与多推理框架集成的实测数据,读者可以据此评估其对长文本推理成本的优化效果。

来源:Hacker News · AI · github.com