精选

天下没有免费的午餐：语料库规模扩大下的任务复杂度研究

针对超大语料库场景下不同任务难度的本质差异，该研究提出了“语料任务复杂度”（CTC）概念，根据任务难度随语料规模增长的规律来刻画任务特性。例如，基础检索任务仅需对语料库进行单次线性扫描，而查找矛盾等深层任务则需对呈二次方增长的主张对进行比对。研究指出以往工作在此类复杂度分析上的局限，为理解和评估大规模语料下的模型任务提供了新的计算理论视角。