热点事件持续更新
调研显示超两成网站通过robots.txt拦截AI爬虫
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月，CipherCue 对 110,744 个网站的 robots.txt 文件进行了分析调研。结果显示，21.3% 的网站至少拦截了 19 个主流 AI 爬虫中的一个，其中 GPTBot 受到的限制最为严重；与此同时，其余近八成的网站尚未设置任何针对 AI 爬虫的限制规则。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 20:15
CipherCue 调研显示 21.3% 的网站拦截主流 AI 爬虫，GPTBot 受限最严重。报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- Hacker News · AI精选调研显示五分之一网站在 robots.txt 中拦截 AI 爬虫，GPTBot 受限最严重
CipherCue 对 110,744 个网站的 robots.txt 分析显示，21.3% 的网站至少拦截了 19 个主流 AI 爬虫中的一个，其余近八成未设置任何限制规则。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。