Hacker News · AI· byoungyoung·· 5 小时前AI 评分51
KVGuard：面向大语言模型推理系统的 KV Cache 显存安全检查工具
KVGuard: A KV Cache Safety Checker for LLM Serving Systems
AI 导读
研究人员提出 KVGuard，这是首个面向大语言模型推理系统 KV Cache 管理的显存安全检查工具，用于捕获双重释放、越界访问和权限破坏等不导致系统崩溃的隐蔽内存漏洞。
来源：Hacker News · AI · arxiv.org