Hacker News · AI· adulion·· 19 days agoSelectedAI score68
调研显示五分之一网站在 robots.txt 中拦截 AI 爬虫，GPTBot 受限最严重
One in Five Websites Blocks an AI Crawler
Not yet translated; shown in Chinese.
AI guide
CipherCue 对 110,744 个网站的 robots.txt 分析显示，21.3% 的网站至少拦截了 19 个主流 AI 爬虫中的一个，其余近八成未设置任何限制规则。
Why it matters
调研揭示了公开网站防御抓取的真实采纳率与地域差异，为站长权衡数据训练与搜索索引提供了参考基线。
Source:Hacker News · AI · ciphercue.com