Hacker News · AI· byoungyoung·· 6 hours agoAI score51
KVGuard：面向大语言模型推理系统的 KV Cache 显存安全检查工具
KVGuard: A KV Cache Safety Checker for LLM Serving Systems
Not yet translated; shown in Chinese.
AI guide
研究人员提出 KVGuard，这是首个面向大语言模型推理系统 KV Cache 管理的显存安全检查工具，用于捕获双重释放、越界访问和权限破坏等不导致系统崩溃的隐蔽内存漏洞。
Source:Hacker News · AI · arxiv.org