arXiv 自然语言处理· Yuning Bian, Lele Xu, Yifan Yuan, Xinyu Yin, Chengyan Zhan·· 8 小时前AI 评分40
真实文档修订下的分块重计算：评估固定、递归与内容定义分块的更新成本与检索质量
Chunk Recomputation under Real Document Revisions: Measuring Update Cost and Retrieval Quality of Fixed, Recursive, and Content-Defined Chunking
AI 导读
一项针对维基百科修订版本的研究显示，固定大小分块需重新计算 57-68% 的新版本嵌入输入工作量，更新成本高于递归分块（38-56%）与内容定义分块（43-54%）。在固定 2048-token 检索预算下，三种策略在各语言内的平均证据召回率差异小于 2 个百分点，表明边界漂移带来的更新成本应与检索质量共同评估。
来源：arXiv 自然语言处理 · arxiv.org