Hacker News · AI· ravinder_cheema·· 5 小时前精选AI 评分60
Clicks Dynasty 调研 56 家美国知名品牌 robots.txt 对 AI 爬虫的拦截情况
America's Biggest Brands Lock AI Out
AI 导读
Clicks Dynasty 针对 56 家美国知名品牌的 robots.txt 文件进行实测分析，发现 68% 的品牌未设置任何专门针对 AI 爬虫的规则，而 75% 的新闻媒体网站至少完全拦截了一种 AI 爬虫。
推荐理由
实测数据揭示了不同行业对模型训练与搜索爬虫的差异化态度，为企业配置 robots.txt 策略提供了参考依据。
来源：Hacker News · AI · clicksdynasty.com