Hacker News · AI· adulion·· 2 小时前精选AI 评分68
调研显示五分之一网站在 robots.txt 中拦截 AI 爬虫，GPTBot 受限最严重
One in Five Websites Blocks an AI Crawler
AI 导读
CipherCue 对 110,744 个网站的 robots.txt 分析显示，21.3% 的网站至少拦截了 19 个主流 AI 爬虫中的一个，其余近八成未设置任何限制规则。
推荐理由
调研揭示了公开网站防御抓取的真实采纳率与地域差异，为站长权衡数据训练与搜索索引提供了参考基线。
来源：Hacker News · AI · ciphercue.com