Hacker News · AI· researchaiexe·· 4 小时前精选AI 评分66
Trakis Research 调查 13,938 个网站：拦截 AI 训练的站点是否也屏蔽了回答爬虫
Block training, keep answers? What 13,938 sites ask of AI bots
AI 导读
Trakis Research 对 13,938 个网站的 robots.txt 统计显示，全网拦截 AI 训练爬虫的频率约为拦截回答与搜索爬虫的三倍，按名称屏蔽 GPTBot 的站点中有 17.1% 同时也屏蔽了 OAI-SearchBot。
推荐理由
实测揭示了网站拦截 AI 训练与搜索回答爬虫的分流现状，有助于读者排查自身 robots.txt 是否误伤了生成式搜索引用。
来源：Hacker News · AI · trakis.io