945个知名网站AI爬虫拦截调研：近一成封禁AI训练但放行AI搜索

Kavel 对 945 个知名网站的 robots.txt 规则展开实测，分析其对 14 种 AI 爬虫的限制策略。在可读取规则的 746 个网站中，25.9% 至少拦截了一种 AI 爬虫，9.2% 封禁 AI 训练爬虫却允许所有 AI 搜索爬虫访问。按爬虫类型统计，CCBot、Bytespider 和 ClaudeBot 拦截率最高；按行业划分，新闻类网站拦截 AI 爬虫的比例接近 80%。