跳到正文
原文
Hacker News · AI· gionag·· 2 小时前精选AI 评分70

Rust 开源工具 contextWatcher 发布:面向大语言模型上下文窗口的垃圾回收代理

A garbage collector for LLM context windows, written in Rust

AI 导读

开发者开源了基于 Rust 开发的本地代理工具 contextWatcher(cw),旨在充当大语言模型上下文窗口的垃圾回收器。该工具通过文件哈希去重、工具输出剪裁、规则尾部固定和多智能体共享前缀复用等机制,在不破坏稳定前缀与 KV cache 的前提下压缩冗余信息。在双 AMD Mi50 本地 28k 上下文测试中,cw 将提示词预填充时间从约 170 秒降低至约 1.6 秒。

推荐理由

工具通过哈希去重与工具剪裁在不破坏前缀缓存的前提下压缩上下文,为缓解长会话预填充延迟提供了工程方案。

来源:Hacker News · AI · news.ycombinator.com