Hacker News · AI· byoungyoung·· 6 時間前AI スコア51
KVGuard：面向大语言模型推理系统的 KV Cache 显存安全检查工具
KVGuard: A KV Cache Safety Checker for LLM Serving Systems
未翻訳のため中国語で表示しています。
AI ガイド
研究人员提出 KVGuard，这是首个面向大语言模型推理系统 KV Cache 管理的显存安全检查工具，用于捕获双重释放、越界访问和权限破坏等不导致系统崩溃的隐蔽内存漏洞。
出典：Hacker News · AI · arxiv.org