arXiv 自然语言处理· Malte Ostendorff·· 7 小时前AI 评分35
面向 LLM 预训练数据的主机感知网络爬虫策略
Host-Aware Web Crawling for LLM Pretraining Data
AI 导读
研究提出一种基于主机（Host）分配抓取预算的网络爬虫策略，以更高效收集 LLM 预训练所需的高质量数据。分析发现分类器评分约半数差异存在于不同主机之间，通过对主机少量采样并向高分主机倾斜抓取深度，单次抓取获得的高质量页面数量可达均匀深度或中心度分配方式的数倍。而在 Common Crawl 现有爬取中，每次均有数千万高质量页面滞留在已知但未抓取的 URL 中。
来源：arXiv 自然语言处理 · arxiv.org