热点事件持续更新
Kavel发布知名网站对AI爬虫拦截情况调研
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月，Kavel对945个知名网站的robots.txt规则展开实测研究，分析其对14种AI爬虫的限制策略。调研结果显示，在可读取规则的746个网站中，25.9%的网站至少拦截了一种AI爬虫，9.2%的网站封禁了AI训练爬虫但允许所有AI搜索爬虫访问。在具体的爬虫类型中，CCBot、Bytespider和ClaudeBot的拦截率最高；按所属行业划分，新闻类网站对AI爬虫的防范最为严格，拦截比例接近80%。
AI 根据报道生成 · 2 小时前更新
最新进展10月27日 21:18
Kavel调研显示，超两成知名网站拦截AI爬虫，近一成封禁训练但放行搜索，新闻类网站拦截率近80%。报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- Hacker News · AI精选945个知名网站AI爬虫拦截调研：近一成封禁AI训练但放行AI搜索
Kavel 对 945 个知名网站的 robots.txt 规则展开实测，分析其对 14 种 AI 爬虫的限制策略。在可读取规则的 746 个网站中，25.9% 至少拦截了一种 AI 爬虫，9.2% 封禁 AI 训练爬虫却允许所有 AI 搜索爬虫访问。按爬虫类型统计，CCBot、Bytespider 和 ClaudeBot 拦截率最高；按行业划分，新闻类网站拦截 AI 爬虫的比例接近 80%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。