Hacker News · AI· Corbenic·· 2 小时前精选AI 评分63
Corbenic 发布 Galahad:支持 50M Token 窗口与多框架的 AI 长期记忆层
Show HN: Try Free Long-Term Memory for AI 50M-Token Window
AI 导读
Corbenic 推出 AI 长期记忆层 Galahad,通过将模型 KV 缓存持久化至磁盘并精确检索文档,使 GPU 无需重复计算已处理的 token。该工具核心基于 C++ 开发,支持接入 vLLM、SGLang 与 llama.cpp,在处理高达 5000 万 token 的文本时可将显存占用稳定在 34.1GB。
推荐理由
原文给出了持久化 KV 缓存扩展超长上下文与多推理框架集成的实测数据,读者可以据此评估其对长文本推理成本的优化效果。
来源:Hacker News · AI · github.com