Hacker News · AI· ravinder_cheema·· 25 days agoSelectedAI score60
Clicks Dynasty 调研 56 家美国知名品牌 robots.txt 对 AI 爬虫的拦截情况
America's Biggest Brands Lock AI Out
Not yet translated; shown in Chinese.
AI guide
Clicks Dynasty 针对 56 家美国知名品牌的 robots.txt 文件进行实测分析，发现 68% 的品牌未设置任何专门针对 AI 爬虫的规则，而 75% 的新闻媒体网站至少完全拦截了一种 AI 爬虫。
Why it matters
实测数据揭示了不同行业对模型训练与搜索爬虫的差异化态度，为企业配置 robots.txt 策略提供了参考依据。
Source:Hacker News · AI · clicksdynasty.com