Hacker News · AI· Corbenic·· 25 日前厳選AI スコア63
Corbenic 发布 Galahad:支持 50M Token 窗口与多框架的 AI 长期记忆层
Show HN: Try Free Long-Term Memory for AI 50M-Token Window
未翻訳のため中国語で表示しています。
AI ガイド
Corbenic 推出 AI 长期记忆层 Galahad,通过将模型 KV 缓存持久化至磁盘并精确检索文档,使 GPU 无需重复计算已处理的 token。该工具核心基于 C++ 开发,支持接入 vLLM、SGLang 与 llama.cpp,在处理高达 5000 万 token 的文本时可将显存占用稳定在 34.1GB。
推薦理由
原文给出了持久化 KV 缓存扩展超长上下文与多推理框架集成的实测数据,读者可以据此评估其对长文本推理成本的优化效果。
出典:Hacker News · AI · github.com