热点事件持续更新
研究提出面向LLM预训练的主机感知网络爬虫策略
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
2026年10月12日发表于arXiv的研究提出了一种面向LLM预训练数据的主机（Host）感知网络爬虫策略。该策略旨在通过按主机分配抓取预算，更高效地收集预训练所需的高质量数据。研究分析发现，分类器评分约半数差异存在于不同主机之间；采取对主机少量采样并向高分主机倾斜抓取深度的策略后，单次抓取获得的高质量页面数量可达均匀深度或中心度分配方式的数倍。研究同时指出，在Common Crawl现有的爬取方式下，每次均有数千万高质量页面滞留在已知但未抓取的URL中。
AI 根据报道生成 · 6 小时前更新
最新进展10月12日 12:00
arXiv研究提出主机感知爬虫策略，通过向高分主机倾斜抓取深度大幅增加高质量LLM预训练数据获取量。报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- arXiv 自然语言处理面向 LLM 预训练数据的主机感知网络爬虫策略
研究提出一种基于主机（Host）分配抓取预算的网络爬虫策略，以更高效收集 LLM 预训练所需的高质量数据。分析发现分类器评分约半数差异存在于不同主机之间，通过对主机少量采样并向高分主机倾斜抓取深度，单次抓取获得的高质量页面数量可达均匀深度或中心度分配方式的数倍。而在 Common Crawl 现有爬取中，每次均有数千万高质量页面滞留在已知但未抓取的 URL 中。
本事件热度走势
当前热度 8·可比范围峰值 10（10月12日 13:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。