Hacker News · AI· bleonard·· 1 小时前精选AI 评分63
Induction AI 分享基准测试提示词缓存隔离方案
The one time we break the LLM cache on purpose
AI 导读
针对模型供应商跨任务共享提示词缓存导致智能体基准测试成本失真的问题,Induction AI 提出在工具列表中注入包含唯一试验编号的虚拟工具,实现试验间缓存隔离与试验内正常复用。该方案利用工具声明位于上下文最前端的特性阻断跨试验命中,同时需为虚拟工具实现无害响应以防模型意外调用导致测试中断。
推荐理由
原文提出通过注入含试验编号的虚拟工具隔离跨次提示词缓存,为智能体基准测试中准确测算推理成本提供了可迁移的工程技巧。
来源:Hacker News · AI · induction.ai