跳到正文
原文
Hacker News · AI· ChengyouXin·· 4 小时前AI 评分57

CacheVerifier Python 客户端开源发布:为大语言模型语义缓存命中提供二次校验

CacheVerifier, check if verifying LLM cache hits helps your traffic

AI 导读

CacheVerifier 开源了 Python 客户端,用于在大语言模型语义缓存的相似度灰色区间内校验候选答案是否正确。该工具不替代原有缓存检索,仅对阈值边缘的候选命中进行审批或拦截,并在超时或服务故障时默认回退至大语言模型调用。项目支持集成 GPTCache,并提供离线健康检查与微调评估功能,支持从 Hugging Face 下载基础重排模型进行本地运行。

来源:Hacker News · AI · github.com