LiteParse 发布更新:PDF 解析提速至每页 2.8 毫秒并增强表格提取能力
文档解析工具 LiteParse 发布技术更新。本次更新中,PDFium 解析速度大幅优化至每页 2.8 毫秒;跨多项基准测试的表格提取表现获得显著提升;新增带有边界框的视觉定位功能;并引入了全新的 is-complex API,以支持针对不同复杂度文档的智能处理路由。这些改进为下游大模型与 RAG 应用的数据预处理工程提供了更高效的支撑。
文档解析工具 LiteParse 发布技术更新。本次更新中,PDFium 解析速度大幅优化至每页 2.8 毫秒;跨多项基准测试的表格提取表现获得显著提升;新增带有边界框的视觉定位功能;并引入了全新的 is-complex API,以支持针对不同复杂度文档的智能处理路由。这些改进为下游大模型与 RAG 应用的数据预处理工程提供了更高效的支撑。
研究人员推出了伊利诺伊社会态度综合语料库(ISAAC)及其可复现的处理流水线。该语料库汇集了2007年至2023年间超过5.27亿条英文Reddit帖子,重点围绕种族、性取向、年龄、身体能力、体重和肤色六大社会群体维度。通过多步骤的人工审计过滤流程,各分类的不相关内容比例均控制在10%以下,并且每条帖子均通过算法标注了用户的推断居住区域等元数据,为大规模分析社会群体话语提供了开放工具。