Hacker News · AI· mimimile·· 3 小时前精选AI 评分66
HitMind 发布前 1 万网站 robots.txt 调研：近三成指定 AI 爬虫规则存在意外放行漏洞
AI crawlers in robots.txt: a study of the top 10k sites (2026)
AI 导读
HitMind 对全球前 1 万域名的 robots.txt 分析显示，在限制通用路径且专门指定 AI 爬虫的网站中，有 29.8% 意外向 AI 爬虫放行了原本拦截的敏感路径。
推荐理由
研究揭示了因协议继承机制导致的配置疏漏，便于网站运维排查敏感路径被 AI 爬虫意外抓取的风险。
来源：Hacker News · AI · hitmind.ai