Hacker News · AI· adulion·· 19 日前厳選AI スコア68
调研显示五分之一网站在 robots.txt 中拦截 AI 爬虫，GPTBot 受限最严重
One in Five Websites Blocks an AI Crawler
未翻訳のため中国語で表示しています。
AI ガイド
CipherCue 对 110,744 个网站的 robots.txt 分析显示，21.3% 的网站至少拦截了 19 个主流 AI 爬虫中的一个，其余近八成未设置任何限制规则。
推薦理由
调研揭示了公开网站防御抓取的真实采纳率与地域差异，为站长权衡数据训练与搜索索引提供了参考基线。
出典：Hacker News · AI · ciphercue.com