跳到正文
原文
AITNT · AI头条(网页)·· 2 小时前精选AI 评分77

字节Seed等团队论文揭示DeepSeek-V4技术缺陷:分块KV压缩导致长文本周期性检索盲区

字节Seed实习生曝DeepSeek-V4技术缺陷:长文本检索陷入“周期性盲区”

AI 导读

字节跳动 Seed 团队联合普林斯顿大学等机构发布论文,指出 DeepSeek-V4 的块压缩稀疏注意力(CSA)机制存在“相位敏感性”缺陷,会破坏平移对称性并导致长文本检索出现周期性性能盲区。

推荐理由

该研究揭示了固定步长分块KV缓存压缩破坏平移对称性的底层机制,为评估长文本稀疏注意力的工程妥协提供了参考。

来源:AITNT · AI头条(网页) · aitntnews.com