AITNT · AI头条(网页)·· 2 小时前精选AI 评分77
字节Seed等团队论文揭示DeepSeek-V4技术缺陷:分块KV压缩导致长文本周期性检索盲区
字节Seed实习生曝DeepSeek-V4技术缺陷:长文本检索陷入“周期性盲区”
AI 导读
字节跳动 Seed 团队联合普林斯顿大学等机构发布论文,指出 DeepSeek-V4 的块压缩稀疏注意力(CSA)机制存在“相位敏感性”缺陷,会破坏平移对称性并导致长文本检索出现周期性性能盲区。
推荐理由
该研究揭示了固定步长分块KV缓存压缩破坏平移对称性的底层机制,为评估长文本稀疏注意力的工程妥协提供了参考。
来源:AITNT · AI头条(网页) · aitntnews.com